3 av 4 støtter oss!!! (av HVEM er ikke så viktig)

En litt kortere versjon av denne artikkelen er også publisert på Manifest Tidsskrift.

3 av 4 ønsker at elbilfordelene fortsetter også etter 2017.

.

kunne NRK Nyheters Facebook-konto fortelle oss tirsdag morgen. Utgangspunktet er en undersøkelse om folks holdninger til elbiler som NAF har gjennomført, men den delte artikkelen er imidlertid ikke NRKs nyhetsartikkel om rapporten, men derimot en kronikk på NRK Ytring. Kronikken er skrevet i fellesskap av Stig Skjøstad og Marius Holm (henholdsvis ledere i NAF og Miljøstiftelsen Zero), og budskapet er entydig:

.

Folket heier på elbilene

Debatten om elbil kan ikke handle om hvilke fordeler som skal fases ut, men om hva som skal til for å oppnå et varig marked.

Kronikkforfatterne slår tidlig fast at de «[kan avkrefte inntrykket] av at elbil ikke er så populært blant folk flest, og at det er lurt av norske politikere å kutte i elbilfordelene nå.»

Tvert imot:

En ny, stor undersøkelse fra NAF viser faktisk at så mange som 3 av 4 ønsker at elbilfordelene fortsetter også etter 2017.

Så følger en lengre argumentasjon om hvorfor det er nødvendig å opprettholde dagens pakke av elbilfordeler også fremover (ellers vil elbilmarkedet «ikke være bærekraftig«), før man avslutter med en kategorisk konklusjon:

Nå vet vi også at dette er i tråd med ønsket til folk flest.

Tre av hvilke fire?

Men hvem er egentlig disse «folk flest» som har besvart undersøkelsen?

Jo, hvis vi går til NAFs rapport, så oppdager vi at undersøkelsen ikke baserer seg på noe representativt utvalg av befolkningen – og at man ikke engang har utført noen form for vekting for å tilstrebe representativitet.

Undersøkelsen ble nemlig gjennomført i forbindelse med NAFs elbilkampanje «[for] å fremme kunnskap om elbilen og elbilistene, samt å undersøke potensialet i elbilmarkedet«, og respondentene måtte selv gå inn på www.elbilisten.no for å delta i undersøkelsen. Undersøkelsen ble promotert via NAFs egne kanaler (inklusive et nyhetsbrev som ble sendt til samtlige NAF-medlemmer) og med bannerannonsering på nett. (Pussig nok nevnes det ikke i NAFs rapport at deltagerne ble lokket med at de kunne vinne en Nissan Leaf.)

Skjevhet og selvselektering

Det burde være unødig å påpeke at en slik utvalgsmetode har et enormt potensiale for skjevhet i hvem som faktisk besvarer undersøkelsen. Det er ille nok når undersøkelser trekker ut X antall personer som får tilsendt spørreskjema, og så legger frem resultatene som harde fakta selv om det bare var halvparten (eller enda færre) som faktisk gadd å besvare spørreskjemaet.

Men i NAFs undersøkelse blir selvselekteringen enda mer utpreget, ved at man først har en kampanje som overveiende retter seg mot et bestemt segment av befolkningen, og deretter ved at man må aktivt velge å gå inn på NAFs nettside for å delta. Det er åpenbare grunner til å mistenke at dette vil gi en sterk overrepresentasjon av elbil-tilhengere blant de som velger å besvare undersøkelsen. NAFs egen rapport innrømmer litt motvillig at «Det er allikevel rimelig å anta at individer som er mer positive til elbil også er mer tilbøyelige til å ta en slik undersøkelse«, men fremholder samtidig at:

Samtidig vet vi at elbilmotstandere mobiliserte via Facebook for å få andre elbilmotstandere til å besvare undersøkelsen. Dette kan ha veid opp for den mulige skjevheten i representativiteten.

(At NAF mener at «mobilisering via Facebook» fra noen elbilmotstanderene – meg bekjent ikkke en spesielt velorganisert befolkningsgruppe – skulle være nok til å balansere ut hele skjevheten i utvalget, vitner vel strengt tatt om en rimelig liten tiltro til effekten av egen kampanje og nyhetsbrev til medlemmer.)

Derimot fremhever NAF at det er hele 50.000 personer som har besvart undersøkelsen, og mener at dette gjør resultatene sikre og robuste:

En svarandel på over 50 000 respondenter sikrer en god representativitet for populasjonen. Det er derfor rimelig å generalisere på bakgrunn av funnene i undersøkelsen. (…) [Vi vet også] at det ikke ble foretatt siling underveis, og at de som besøkte http://www.elbilisten.no faktisk gjennomførte undersøkelsen. Dette gjør at vi kan være trygge på at funnene er representative for nordmenns holdninger. (….) Undersøkelsen har så mange respondenter at det ikke var et statistisk behov for å vekte tallmaterialet.

Isolert sett vil det være sant at et større antall respondenter leder til bedre resultater, fordi man unngår rene tilfeldige statistiske avvik. Og hvis man kommer opp i en signifikant andel av totalpopulasjonen, begynner også de rene absolutte tallene å bli relevante.

Men det er statistisk barnelærdom at store mengder data ikke kan veie opp for systematiske skjevheter i utvalget. Det mest berømte historiske eksemplet er det amerikanske presidentvalget i 1936, der tidsskriftet Literary Digest fikk inn mer enn 2,3 millioner svar fra velgere (tilsvarende 5% av det totale antallet stemmer som ble avgitt) – og likevel endte med en total skivebom på valgresultatet, som avvek med nesten 20 prosentpoeng fra deres prognose. Samtidig traff meningsmålingspioneren George Gallup presist med et mye mindre utvalg – fordi han hadde passet på å vekte utvalget etter befolkningen, og tatt høyde for skjevhetene som oppstår hvis det er kun de mest interesserte som besvarer spørsmålene.
Som Tim Harford formulerer det (i en artikkel om stordata som fortjener å leses i sin helhet):

For each person George Gallup’s pollsters interviewed, The Literary Digest received 800* responses. All that gave them for their pains was a very precise estimate of the wrong answer.

At NAF har klokkertro på størrelsen i sitt utvalg, og mener at den t.o.m. gjør at vekting blir overflødig, er i beste fall utillatelig naivt.

Er 50.000 egentlig 50.000?

Det er for øvrig også uklart hvordan NAF har sikret seg mot at samme person kan svare flere ganger (noe som det er et åpenbart incentiv til å gjøre når man kan vinne en elbil). Når jeg testet undersøkelsen i dag, var det ingen mekanismer overhodet som hindret deg i å umiddelbart gå tilbake til start og begynne på nytt etter at du hadde avsluttet undersøkelsen. Formodentlig pleide det å være et skjema på slutten der du måtte fylle inn personinformasjon for å delta i trekningen – men det er svært uklart om det samtidig var muligheter til å sjonglere med ulike kombinasjoner av mellomnavn og epost-adresser (eller endog svare flere ganger med samme navn).

Liker du elbil? (PS: Elbiler er kjempebra!)

Her er det altså skjevhet både i hvem som får vite om undersøkelsen, hvem som har seg bryet med å svare på dem, og i at mange får kjennskap til undersøkelsen i tilknytning til en kampanje der de samtidig presenteres for pro-elbil informasjon. Og dette siste forsterkes også av selve undersøkelsen: Den består nemlig av en sekvens med skjemaer/enkeltspørsmål, og opptil flere ganger underveis avbryter man spørsmålene for å servere leseren små «Visste du at?»-faktoider av typen «Elbilene Nissan LEAF og Tesla var de mest solgte bilene i Norge våren 2014«, «De fleste elbiler har en kapasitet opp mot 150 km på ‘en tank’» og «Det koster under 20 kroner å lade en vanlig elbil«.

Det er – nok en gang – vel kjent og dokumentert at selv små nyanser i spørsmålsstillingen kan gi store utslag i hvordan folk besvarer spørreundersøkelser. Å slenge inn denne typen «glad-nyheter» om elbil underveis i målingen – uten at det engang er direkte knyttet til spørsmålene – vil helt åpenbart bidra ytterligere til å øke antallet som sier «Ja» til fortsatte avgiftsfordeler (som er et av de aller siste spørsmålene i undersøkelsen).

Uforpliktende vurdering

Det er forøvrig også en sannhet med adskillige modifikasjoner når Holm og Skjøstad skriver at:

Halvparten av nordmenn med lademulighet på jobb og hjemme vurderer til og med å kjøpe elbil selv, og elbileiere blir mer og mer like andre bileiere.

Alt denne halvparten har gjort, er å svare «Ja» på om de «vurderer elbil (evt. hybrid) ved sitt neste bilkjøp». Det skal ikke veldig mye til for å svare «Ja» på dette, når man 1) bare spør om jeg kommer til å vurdere det, og 2) bare viser til «neste bilkjøp», som godt kan ligge 5-10 år frem i tid – eller komme som et supplement til eksisterende bensinbil. At flertallet av de som allerede har lett tilgang på lading er villige til å i hvert fall vurdere elbil, er vel ingen spesielt stor overraskelse.

Troverdighet

At interesseorganisasjoner som NAF (og Elbilforeningen) er villige til å skryte på seg «støtte i befolkningen» basert på metodisk tvilsomme studier, er etterhvert blitt en så vanlig foreteelse at man tydeligvis bare må akseptere det som en del av samfunnsdebatten. Men at en organisasjon som Zero Norge ukritisk henger seg på og presenterer slike ugyldige resultater som harde fakta (og til og med påtar seg direkte ansvar for rapporten i et øyeblikks forsnakkelse), det er adskillig mer bekymringsfullt for oss som ønsker oss en faktabasert og offensiv miljødebatt. Da bør miljøorganisasjonene  kjempe for elbil (og andre miljøtiltak) basert på fakta og forskning – ikke uforbeholdent skrive «så mange som 3 av 4 ønsker ____» som om dette er representativt for hele folket, når realiteten er at studien inneholder helt innlysende skjevheter.

I tillegg til de åpenbare kostnadene for egen troverdighet, kan man også lure på om Zero helt overskuer konsekvensene av å sette denne typen presedens for hva slags meningsmålinger det er legitimt å slå i bordet med. Hvis Statoil skulle finne på å gjennomføre en undersøkelse rettet inn (primært) mot ansatte i egen sektor (ispedd rikelig med faktadrypp om norsk oljebransjes miljøvennlighet og generelle fortreffelighet), og så slår opp resultatene som bevis på deres urokkelige posisjon blant den norske befolkningen – hvor skal Zero da finne den moralske autoriteten til å kritisere fremstillingen på bakgrunn av skjevhet i utvalget og spørsmålsstillingen?

Medienes portvokteransvar

Men når organisasjoner velger å utnytte metodisk sviktende resultater av bekvemmelighetshensyn, så påhviler det i hvert fall mediene å ta sitt ansvar for å gjøre en skeptisk vurdering av påstandene og stille basale kontrollspørsmål – ikke bare kolportere påstandene ukritisk og gi dem stempel som fakta.

NRKs nyhetsartikkel om rapporten gjør faktisk en ikke så aller verst jobb med dette. De har riktignok ikke stilt noen egne spørsmål ved feilkildene, men faktaboksen nevner i hvert fall at undersøkelsen er foretatt på nett og at NAF bruker elbilmostandernes angivelige Facebook-mobilisering som motargument mot manglende representativitet. I tillegg refererer NRK utelukkende de resultatene som handler om hva folk anser som de viktigste elbil-incentivene. Dette er tall som kan forventes å være langt mer representative, og der det dessuten kan argumenteres for at det uansett er mest interessant å høre hva elbil-tilhengerne har svart.

At Holm og Skjøstad presenterer de ugyldige tallene uimotsagt i sin Ytring-kronikk, er vel heller ikke noe NRK har klandres spesielt for, all den tid terskelen for å ettergå og korrigere faktapåstander i leserinnlegg synes å generelt være satt uhyre høyt i norske medier.

Derimot er det langt mer betenkelig at artikkelen deles ikke bare på NRK Ytrings Facebook-sider, men også fra NRK Nyheters konto – med følgekommentaren «3 av 4 ønsker at elbilfordelene fortsetter også etter 2017. Er du enig?» Det er nesten umulig å ikke tolke dette som en validering av tallene fra NRKs side – især når du må klikke deg inn på selve artikkelen hvis du engang skal oppdage at det er en kronikk og ikke en nyhetsartikkel som NRK har delt.

Ukritisk gjengivelse

I Dagens Næringsliv er det i hvert fall ingen tvil om at tallene blir bekreftet ukritisk, i en nyhetsartikkel med tittelen «Folket vil beholde elbilfordelene«. Her slås det fast at:

I en undersøkelse gjennomført av NAF sier tre av fire spurte at de ønsker at elbilfordelene skal beholdes etter 2017. 39 prosent av de spurte vurderer å kjøpe elbil, mens fire prosent av de spurte allerede er elbileiere, noe som er høyere enn gjennomsnittet for befolkningen.

Her tas det ikke spor av forbehold – og å snakke om «de spurte» og «X prosent av de spurte«, når undersøkelsen ikke har vært oppsøkende og kun har basert seg på de som selv tar initiativ til å delta, er i hvert fall på grensen til det villedende.

(Her passer det for øvrig også å nevne at undersøkelsen slett ikke har spurt folk om de er elbileiere. Tallet på fire prosent (mer enn det dobbelte av det faktiske antallet elbileiere i befolkningen) er formodentlig antallet som har svart at de bruker elbil som vanligste fremkomstmiddel. Gitt hvor mange det er som velger elbil som et supplement til andre primærfremkomstmidler, er den faktiske forekomsten – og overrepresentasjonen – av elbil-eiere trolig adskillig høyere.)

Så lenge den er landsdekkende, er det greit?

Nationen dekker også rapporten med en tilsvarende overskrift, selv om de riktignok har valgt å runde antallet nedover og utstyre artikkel med tittelen «NAF: Sju av ti vil beholde elbilfordelene«.

Hele 50.895 personer i nær alle landets kommuner har svart på den digitale spørreundersøkelsen. Resultatene viser at 37.655 av dem, altså 74 prosent, ønsker at elbilfordelens fordeler (sic) skal bestå etter 2017.

forteller Nationen, uten å bemerke noen ting om utvelgelsesprosessen. Tvert imot blir det gitt aktive forsikringer om at resultatene er pålitelige og robuste:

Alle interesserte har hatt mulighet til å svare på nett. Resultatene er blitt statistisk bearbeidet og kvalitetssikret av analysebyrået NyAnalyse, sier [NAFs kommunikasjonssjef].
Samfunnsøkonom Mari [Mamre] i NyAnalyse sier undersøkelsen er landsrepresentativ.

– Det er over 50.000 respondenter med en god fordeling av svar fra alle landets fylker. Svarene viser kun et lite sprik mellom 71 og 75 prosent mellom fylkene, så dette er veldig robuste resultater, sier hun.

Hvis dette om at samtlige distrikter i landet er representert faktisk var det eneste NyAnalyse trakk frem når de skulle overbevise Nationens journalist at undersøkelsen var «robust», så kan man i hvert fall ikke beskylde dem for å ha feilberegnet sitt publikum…

*) For ordens skyld: Dette forholdstallet mellom de to presidentvalg-målingene synes å avvike fra de tallene jeg finner andre steder, så jeg vil ikke gå god for det eksakte tallet. Men det overordnede poenget består like fullt.

[Tilføyelse 30.3.: NAFs kommunikasjonssjef har tydeligvis ikke tatt seg så veldig nær av mine påpekninger (eventuelt ikke tatt seg bryet med å lese dem i det hele tatt). I Bergensavisen torsdag 19.3. (et drøyt døgn etter å ha fått tilsendt min ferdige artikkel) fortsetter hun nemlig ufortrødent og uforbeholdent å slå i bordet med tallene fra undersøkelsen (uten noen metodekritiske spørsmål fra denne journalisten heller):

Ifølge en fersk rapport fra NAF, der 50.895 respondenter har blitt spurt om sine holdninger til elbil, vil et stort flertall beholde de fordelene elbilsjåfører har i dag.

74 prosent vil at disse fordelene skal beholdes etter 2017. Personene som ble spurt mente den viktigste av disse fordelene var fritak for bompenger.

(…)

– Folket har talt. De ønsker klart og tydelig fordeler etter 2017. Dette knuser mytene om negativitet til disse i folket, for eksempel påstander om at det er «luksusfordeler» og ikke så miljøvennlig. Folk er positive, og vil ha dette. Det er helt klart og tydelig, sier [kommunikasjonssjef] Sagedal.