Statistikkfeil-kinderegg

Kraftig nedtur for MDG

kunne Nettavisen melde fredag morgen. Artikkelen tar utgangspunkt i NTB-meldingen «Sp mest fram på partibarometer» om Sentios ferske partibarometer for DN, men vinkler seg mot at MDG har den største tilbakegangen på målingen (ned 1,4 prosentpoeng* til 4,5%) ved å bytte ut overskriften, skyte inn tre lenker til andre saker om MDG, og legge inn en nettavstemning nederst der leseren kan velge mellom tre forskjellige forklaringer (inklusive det heller upresise «Bilforbud i Oslo») på «Hva tror du er årsaken til at Miljøpartiet De Grønne faller mest?«.

mdgfaller

*) Nettavisen opererer med en nedgang på 1,2 prosentpoeng, men det er fordi de (rimeligvis) baserer seg på det feilaktige tallet som ble presentert i DN.

Også redaktør Gunnar Stavrum tar for seg MDGs «motvind»

Spørsmålet er om den grønne bølgen fortsetter frem til neste valg, eller om velgerne blir avskrekket av grepene partiet nå gjør eksempelvis mot bilisme i hovedstaden.

Ifølge den siste gallupen som Sentio Research har laget for Dagens Næringsliv har partiet mistet 1/5 av velgerne siden forrige måling. De Grønne faller med 1,2 prosentpoeng til 4,5 prosent.

Nå bør de færreste være overrasket over at De Grønnes politikk er kontroversiell og at partiet faktisk gjør det de sa de ville gjøre.

Til dette er det tre ting å bemerke (så får leseren selv avgjøre om enkelte av kommentarene er i overkant pirkete – men de er tildels også symptomatiske for medienes generelle håndteringer av meningsmålinger):

1) Som vi har vært gjennom tidligere, er nettavstemninger klart uegnet til å gi oss noen som helst representativ informasjon om hva befolkningen mener. I dette tilfelle har man riktignok ikke brukt resultatene som argument for noenting, så sånn sett er avstemningen bare et «uskyldig påheng» til artikkelen. Men gitt at andre tilsvarende avstemninger tyder på at MDG-velgere og -sympatisører er klart underrepresentert blant Nettavisens lesere, så er det litt vanskelig å se at det tilfører kjempemye å spørre folk som aldri noen gang har støttet MDG om årsakene til at folk slutter å støtte MDG.

2) MDGs tilbakegang på 1,4 prosentpoeng ligger (riktignok bare hårfint) innenfor feilmarginen for målingen. Det betyr at hvis vi tar utgangspunkt i standard feilmarginer (95% sannsynlighetsintervall), så kan vi ikke vite om MDG egentlig har gått tilbake i det hele tatt, eller om avviket mellom målingene bare skyldes statistiske tilfeldigheter.

Nå skal det sies at vi statistikk-kritikere ofte er litt for raske med å avvise enhver analyse av endringer som ligger innenfor feilmarginen. Når vi får en slik ny måling som ligger lavere enn den forrige, så gir det oss selvsagt noe ny informasjon om MDGs oppslutning: Den høyeste mulige reelle verdien innenfor konfidensintervallet (dersom målingen underdriver faktisk oppslutning) er lavere er den var ut fra forrige måling, og den laveste mulige verdien er tilsvarende lavere.

En endring innenfor feilmarginen gir derfor fortsatt grunn til å justere våre antagelser om partiets oppslutning. Men den gir oss ikke grunn til å anta at dette skyldes en faktisk endring siden forrige måling – det kan like gjerne* være forrige måling som overestimerte en stabil verdi, mens den siste målingen klarte å måle den samme verdien presist. Og hvis MDG i realiteten har ligget flatt på omkring 4,5 % hele tiden, blir det selvsagt bare tankespinn å prøve å finne en årsak til nedgang i den siste ukens nyhetsbilde.

*) I dette tilfellet kan man riktignok argumentere for at den målte endringen er såpass stor at det er over 90% sjanse for at den er reell. Men det er tross alt vanlig praksis å kreve 95% konfidens for at resultatet skal regnes som signifikant – og det er ihvertfall høyst uvisst om endringen er så stor som det gis inntrykk av. Det er høyst plausibelt at det er i det minste er snakk om en faktisk endring som er adskillig mindre enn 1,4 prosentpoeng – eller at den faktiske verdien lå på omkring 5%, og at de to målingene bommet i hver sin retning.

(Det er forøvrig heller ikke første gang denne høsten at Nettavisen tolker et sprik mellom to målinger som kategorisk dokumentasjon på en faktisk endring over tid.)

3) En ytterligere grunn til å mistenke at september-målingen overestimerte den faktiske oppslutningen, er at Sentios tall skiller seg klart fra resten av målingene som ble tatt opp i samme måned. 5,9% er et av de aller høyeste resultatene som MDG noen gang har oppnådd på målinger for stortingsvalg (ved en kjapp og ikke 100% uttømmende gjennomgang, fant jeg bare to andre målinger på over 5,5% nasjonalt). Snittet for alle nasjonale målinger i september var på 4,8%, og 4,7% måneden før – i begge disse månedene var Sentios resultater (5,9% i september og 6,0% i august) markant høyere enn resten av målingene. (Det er imidlertid ingen spesiell grunn til å tro at Sentio systematisk måler MDG for høyt – i mai og juni målte Sentio MDG lavest av samtlige institutter.)

Mellom Sentios to rekordhøye målinger i august og september, finner vi dessuten det faktiske resultatet for kommunevalget, der MDG fikk 4,3% på landsbasis. Selv om det kan være avvik mellom hva folk stemmer i stortings- og lokalvalg, er dette en åpenbar ytterligere indikasjon på at Sentios målinger oppunder 6% overestimerte den reelle oppslutningen, og at oktober-målingens «nedgang» i virkeligheten bare er en korreksjon av et feilaktig høyt tall.

Forrige måned er alle tings målestokk

Det er et generelt problem at hver avis/hvert meningsmålingsinstitutt stort sett sammenligner alle partibarometre utelukkende med sin egen forrige måling (og til dels later som ingen andre målinger eksisterer). Det fins selvsagt gyldige årsaker til en slik praksis, særlig hvis ulike institutter benytter seg av ulike metoder som kan gi systemiske (men ikke nødvendigvis kvantifiserbare) avvik mellom målingene. Men når du har sett «Eksempelpartiet går kraftig frem«-overskrifter ukentlig i fire uker på rad, så er det fort gjort å tolke dette som en kontinuerlig og økende vekst, selv om det i realiteten bare er snakk om fire forskjellige institutter som hver for seg har fanget opp en avgrenset vekst sammenlignet med forrige måned.

Et annet problem (som gjør seg gjeldende i denne artikkelen) er at man legger til grunn et uuttalt premiss om at forrige måling faktisk representerte folkemeningen korrekt. Hvis en måling gir Eksempelpartiet usedvanlig høy oppslutning (særlig sammenlignet med andre målinger for samme periode), kan vi normalt forvente at neste måling vil gi en (mindre) tilbakegang (og motsatt at en rekordlav måling vil etterfølges av oppgang).

Noen ganger vil dette skyldes en reell «regression to the mean» – at man tilfeldigvis målte akkurat den dagen partilederen hadde gjort en spesielt god figur, og at oppslutningen nå har rukket å normalisere seg. Andre ganger vil det være rene statistiske tilfeldigheter som ga et særlig høyt resultat, og den påfølgende «tilbakegangen» er ikke et uttrykk for annen enn at neste måling traff mer presist.

En slik påfølgende korreksjon har selvsagt fortsatt informasjons- og nyhetsverdi, som en realitetsorientering som tilsier at oppslutningen ikke er (og kanskje aldri var) så høy som forrige måling indikerte. Men i slike tilfeller blir det meningsløst å prøve å finne en «forklaring» på denne tilbakegangen, hvis den egentlig bare er en korreksjon av et misvisende høyt resultat i forrige måling.

I dette konkrete tilfellet blir Nettavisens analyse ekstra påfallende, i og med at den kommer bare en drøy måned etter et valg der MDG fikk 4,3% av stemmene – mot 4,5% på ukens måling, selv etter «nedturen». Det blir særdeles merkelig å skulle bruke denne oktober-målingen til å bygge et narrativ om at MDG opplever et velgertap i kjølvannet av sine valgseiere, når realiteten (hvis vi legger denne målingen til grunn, og antar at partipreferansene er de samme nasjonalt og lokalt) er at MDG har marginalt større oppslutning i dag enn de hadde på valgdagen.

Advertisements

Kommentér gjerne, selv om du ikke har noe spesielt dypsindig å komme med. E-post adresse er ikke påkrevet.

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s