Du har ret, jeg burde naturligvis havde skrevet, at min tommerfingerregel gælder for 95% konfidensintervallet. (Helt præcis skal skal 2-tallet skiftes ud med 1,96. For 99% konfidensintervallet skal der stå 2,6 i stedet for 2).

@ Peter Kurrild-Klitgaard

Jeg er godt klar over, at min usikkerhedsformel er ren matematisk. Den tager ikke hensyn til de “sjusser”, som du beskriver, og at de “sjusser” forøger usikkerheden. Men det forbavser mig meget, at du fortsat angiver en og samme usikkerhed på alle partier og ikke forholder dig til, at jeg beskriver, at usikkerheden afhænger af partiets andel af stemmerne.

Du skriver: “I mellemtiden har jeg faktisk lokaliseret Megafons egen gengivelse af den pågældende måling: http://politiskindeks.megafon.dk/“.

Men derefter citerer du jo ikke siden fuldkommen. Megafon skriver: “For de enkelte observationer gælder, at de faktiske procenttal med 95% sikkerhed befinder sig indenfor en gennemsnitlig margin på ca. +/-2 % af de observerede procenttal.

Gennemsnitlig margin

Ja naturligvis for usikkerheden afhænger af partiets andel af stemmerne.

Og derfor er forkert, når du skriver “D.v.s. ifølge Megafons _egne_ krav, kan man reelt ikke sige andet med sikkerhed, end at NA ligger til mellem 0,0 og 2,9 pct. af stemmerne (jf. ovenfor). De 2% er gennemsnitlig margin, og for Ny Alliances 0,9% andel i målingen vil marginen være mindre.

Du kan i øvrigt prøve at bruge min formel af på:

http://img.borsen.dk/img/cms/cmsmedia/363_content_2_4961.pdf

Greens Analyseinstitut kommer frem til det samme som mig.

Journalisthøjskolen beskriver usikkerhedsberegningerne på denne side:

http://www.cfje.dk/cfje/VidBase.nsf/6c3cc6aca3a852d1c12569fa002d6c12/15f47bcdfa98c6c6c125721900312149?OpenDocument

Summa summarum, det gav god mening, da Jarl citerede Megafon for at NA er ude.

http://youtube.com/watch?v=If9EWDB_zK4

Ja og nej–faktisk viser dette netop, at det er _nødvendigt_ at tage forbehold for den statistiske usikkerhed + at “pinde” antal respondenter og anlagte konfidensintervaller ud.

For selvfølgelig kan NA (eller noget andet parti) ikke få en tilslutning på under 0,0 pct., men det betyder jo i praksis bare, at hvis man f.eks. har et parti, der ligger til 0,9 pct. i en måling, og hvis den anlagte statistiske usikkerhed i dette tilfælde ligger på plus/minus 2 pct., så er det eneste, man kan sige, at det pågældende parti ligger til at få et sted mellem 0,0 pct. og 2,9 pct. af stemmerne–og dermed at der altså ikke er rimeligt grundlag for at sige, om det pågældende parti ligger til at komme ind eller ej (men dog nok, at “noget tyder på, at de er i fare for ikke at komme ind” e.l.).

@Peter Løhmann:

Right on, på alle punkter. Det er ca. 10 år siden, at de fleste danske aviser holdt op med at trykke den slags oplysninger med småt under tabellerne. “Det er jo teknisk og ikke så vigtigt”, o.s.v.

I mellemtiden har jeg faktisk lokaliseret Megafons egen gengivelse af den pågældende måling:

http://politiskindeks.megafon.dk/

Heraf fremgår, at der var 1.004 respondenter, og at med et (normalt og beskedent) krav om 95 pct. sikkerhed, er den statistiske usikkerhed for hver observation på plus/minus 2 pct. D.v.s. ifølge Megafons _egne_ krav, kan man reelt ikke sige andet med sikkerhed, end at NA ligger til mellem 0,0 og 2,9 pct. af stemmerne (jf. ovenfor). Anlægger man strammer krav (f.eks. 99 pct.), bliver margenen endnu større.

Lad mig iøvrigt opklare en ting, som mange ikke er klar over, og selv ikke folk der ofte kaster sig udi at analysere og fortolke meningsmålinger: Når meningsmålingerne rapporterer, at x,y pct. mener/vil/tror noget givent, så skal man ikke tro, at dette er den procentandel, der faktisk har svaret det pågældende, når man har spurgt dem … Det er som regel slet, slet _ikke_ tilfældet. Procentsatsen er derimod en, som meningsmålerne efterfølgende–med større eller mindre held/indsigt–”sjusser” sig frem til. D.v.s., det kan vise sig, at de adspugte politisk fordeler sig 60 mod 40 pct. til henholdsvis venstre- og højrefløjen, eller til mænd og kvinder, e.l., og det “justerer” man så efterfølgende ved at prøve at “rette” tallene til ud fra demografiske data o.l. Det offentliggjorte slutresultat er dermed ikke nødvendigvis lig hverken virkeligheden eller, hvad respondenterne har svaret …

Uden at nævne navne … kan jeg fortælle de evt. chokerede læsere, at der for nogle år siden blevet foretaget en meget stor, skattekrone-finansieret undersøgelse af et folketingsvalg, hvor tilrettelæggerne i farten glemte to af de opstillede partier, da man skulle give respondenterne valgmuligheder … Da man opdagede det–da man først havde afsluttet undersøgelsen–”rettede” man det ved at prøve at fordele de vælgere, der havde svaret “andre partier” ud på de to glemte partier ud fra (så vidt jeg husker), hvorvidt de pågældende havde svaret de havde bil, boede i parcelhus, og hvilken landsdel de boede i. Trylle rylle rylle …

Megafon og andre danske målefirmaer kunne lære af amerikanerne, der altid inkluderer statistisk usikkerhed i deres rapportering af meningsmålinger, og de inkluderer det også i deres artikler (“Obama and Clinton in a statistical tie” fx selvom tallene er 35 og 37, men altså begge indenfor usikkerhedsmargenen).

O.k. Jarl, så lad mig prøve at indlade mig på en disput med professoren – med risiko for at få en lektion

Usikkerheden afhænger i høj grad, hvor mange stemmer partiet har fået i meningsmålingen. Dit udsagn om 1,5 – 2,0 pct usikkerhed giver jo ingen mening, idet du dermed siger, at det vil ligge indenfor usikkerheden, at NA får minus 1,1 pct af stemmerne.

Baseret på et fjernt statistikkursus på Matematisk Institut på Århus Universitet og et Google-opslag, så mener jeg, at en god tommerfingerregel for usikkerheden på meningsmålingen for det enkelte parti er givet ved:

u = 2*sqrt(p*(1-p)/N), hvor u er usikkerheden, p er den opnåede stemmeandel i målingen, N er antallet af respondenter (og sqrt = kvadratrod).

Hvis vi antager 1.000 respondenter fås for NA:

u = 2*sqrt(0,009*(1-0,009)/1000) = 0,6%

Hvilket betyder, at “statistisk er Ny Alliance med sikkerhed fuldstændigt ude..”

Nu kan jeg ikke se, hvor mange respondenter, der er, men hvis vi antager som rimeligt, at der næppe er meget over 1.000, så vil den statistiske usikkerhed ligge på plus/minus ca. 1,5-2,0 pct., og så vil jeg konstatere, at Megafons direktør i så fald med ikke-statistisk sikkerhed er fuldstændigt ude på dybt vand …

Min egen skråsikkerhed hvilede alene på udsagnet fra denne herre, som er ansvarlig for målingen, og derfor – antager jeg – velsagtens har noget at have det i:

“Statistisk er Ny Alliance med sikkerhed fuldstændigt ude,” konstaterer Megafons direktør Asger H. Nielsen over for TV 2|Politik.

Er du sikker, Jarl? Hvor stor er den statistiske usikkerhed på den pågældende måling …?