Det skrevne ords voldsomme beviskraft

En litt kortere versjon av artikkelen er publisert hos Dagbladet.

Forrige ukes Debatten på NRK diskuterte terror og terrorberedskap, og hadde blant annet invitert direktøren for DSB (Direktoratet for samfunnssikkerhet og beredskap) for bl.a. å fortelle oss om befolkningsundersøkelsen de nylig hadde gjennomført for å måle «hva vi som folk har av tillit til regjering og Storting i arbeidet med (terror)beredskap«. Programleder Ingunn Solheim siterte selv fra undersøkelsen at «37 % av oss har ingen tillit til regjering og 27 % av oss har ingen tillit til det Stortinget gjer.«

Realiteten – som det fremgår tydelig av det aller første diagrammet i rapporten – er imidlertid at det kun er 13 prosent som har «ingen tillit» til regjeringen, og bare 7 prosent som svarer det samme om Stortinget.

 

Så er det riktig at rapporten også presenterer de samme resultatene i et annet diagram, der det ganske riktig er hhv. 37 og 27 prosent som havner i laveste kategori.

Men det er tydelig forklart at denne grafen slår sammen svaralternativene 1 og 2 til én gruppe – og at det er 1 som betyr «ingen tillit». De intervjuede ble bedt om å svare på en 5-punkts-skala der 1 er definert som «ingen tillit» og 5 som «stor tillit». De andre punktene på skalaen er ikke gitt noen konkret definisjon, men det er naturlig å tolke summen av 1 +2 som «liten eller ingen tillit» – en tolkning som også NRK selv sier at de burde ha brukt, etter å ha blitt gjort oppmerksom på feilen. NRK mener at de «likevel refererer til hovedinntrykket i rapporten på en måte som gjør at debatten ikke sporer av som følge av dette«. Det er forsåvidt riktig at resten av debatten neppe ville blitt påvirket om de hadde beskrevet tallene riktig. Men når man vil formidle slike funn til 400-500.000 seere, burde de jo helst være korrekte – og det er tross alt en viss forskjell på ingen tillit (med både verbalt og ansiktsmimisk trykk på «ingen») og at en stor del av befolkningen har liten tillit.

(Forøvrig spør dette spørsmålet kun om folks «tillit» til ulike myndigheter og etater – uten å koble dette til beredskap spesifikt. NRK argumenterte fortsatt for at undersøkelsens tema fortsatt tilsa at dette spørsmålet fokuserte på beredskap og ikke generell tillit – men DSBs kontaktperson for denne undersøkelsn bekrefter at dette spørsmålet «har til hensikt å måle tillit «alt i alt». Altså ikke bare bundet opp til beredskap«. Respondentene vurderte derfor formodentlig sin «tillit» til regjering/Storting ut fra helt andre kriterier (ærlighet, fagkompetanse, fravær av korrupsjon, osv. osv.), med beredskap som i beste fall ett av mange elementer.

Derimot blir man også spurt senere i undersøkelsen om tillit til «[ulike] redningsetaters og myndigheters evne til å håndtere en større hendelse eller krise«, og resultatene her er temmelig like svarene for generell tillit (litt høyere mistillit for Stortinget, litt lavere mistillit for regjeringen). Avviket mellom NRKs tall og de tallene som de heller skulle ha brukt er dermed ganske lite (selv om også dette spørsmålet handler om generell krisehåndtering og ikke spesifikt om terrorberedskap), men det hadde jo generelt vært en fordel om man siterer de konkrete tallene som faktisk handler om det man ønsker å snakke om.)

Men man innrømmet i hvert fall denne feilen da man ble gjort oppmerksom på den – noe som slett ikke er noen selvfølge. I februar, da DSB offentliggjorde undersøkelsen, skrev NRK nemlig også om funnene, under (den korrekte) overskriften «Nordmenn frykter terror mest«.

Denne artikkelen fremhever at «Ifølge undersøkelsen er 35 prosent av befolkningen svært bekymret for at Norge rammes av et terrorangrep de kommende fem årene.» – og her har man begått tilsvarende misforståelse som Solheim, ved at man bruker summen av svaralternativ 4 og 5, til tross for at spørreskjemaet uttrykkelig sier at det er alternativ 5 som betyr «svært bekymret».

Summen av 4 +5 vil da naturlig tolkes som «bekymret eller svært bekymret» – dette utgjør 35% av de spurte, men bare 11% (under en tredjedel av denne undergruppen) er «svært bekymret».

Samme feil begås lenger nede i samme artikkel når man skriver at «50 prosent mener det er svært sannsynlig at Norge vil bli rammet av terror i løpet av de neste 10 årene» (bare 25% svarte «svært sannsynlig») og at «I undersøkelsen svarer 30 prosent at de tror myndighetene vil håndtere angrepet på en god måte, mens 31 prosent tror de vil håndtere det på en svært dårlig måte» (kun 12% svarte «svært dårlig») (I den siste setningen har man pussig nok klart å rubrisere de 30 prosentene korrekt som «god håndtering», altså summen av svaralternativ 4 og 5.)

Nok en gang har man tydeligvis blitt lurt av grafen der 1+2 og 4+5-svarene er slått sammen – og disse misforståelsene er hakket mer forståelige, ettersom grafen er merket med «4 + 5 (svært godt)«, og det er svært lett å ikke oppfatte at «svært godt» skal kobles utelukkende til ‘5’ og ikke til ‘4 + 5’.

Når heller ikke skillet mellom «bekymret» og «svært bekymret» er voldsomt avgjørende for oppslaget, konkluderte jeg den gang med at dette ikke var vesentlig nok til å fortjene noen artikkel fra min side – jeg sendte avgårde en kort epost til NRK for å gjøre dem oppmerksom på feilen, og regnet med at saken var ute av verden med det.

Det skulle imidlertid vise seg å ikke være så enkelt – jeg mottok isteden et svar fra NRKs redaksjonssjef som var både høflig og imøtekommende, men som fastholdt at de hadde gjort det eneste riktige – med henvisning til at DSB selv hadde skrevet at «1 av 3 nordmenn er svært bekymret for at terrorister skal lykkes med et angrep på norsk jord«, og dermed var det umulig for NRK å gjøre annet enn å videreføre DSBs tolkning og ordvalg.

Jeg forsøkte da (etter beste evne og i flere runder) å forklare at når man har en skala som går fra 1 til 5, og 5 er definert som «svært bekymret», så kan åpenbart ikke de som svarer ‘4’ regnes med blant de «svært bekymrede» (hadde de vært «svært bekymret» ville de jo pr. definisjon svart 5 og ikke 4). Jeg argumenterte videre for at det burde være helt naturlig og standard å omtale svar ‘4’ som «bekymret» – men at dersom de nå mente at dette var en fortolkning som de ikke kunne foreta på egen kjøl, så måtte de i tilfelle kontakte DSB/rapportforfatterne og spørre dem hva som er riktig tolkning.

Like fullt valgte NRK å avslutte saken ved å beholde alle de feilaktige tallene i artikkelen, men tilføye et avsnitt aller nederst om at «Spørsmålene i DSBs undersøkelse er stilt på en 5-punktsskala hvor 1 står for ikke bekymret/ikke sannsynlig/svært dårlig og 5 står for svært bekymret/svært sannsynlig/svært godt. DSB har valgt å gruppere sammen svaralternativene 4 og 5. Hele undersøkelsen er lagt ut på DSBs nettsider.»

Dette er selvsagt en fullstendig utilstrekkelig ‘korrigering’ av direkte feilaktige tall, og setningen «DSB har valgt å gruppere sammen svaralternativene 4 og 5» gir knapt nok noen mening i denne sammenhengen. Man kan selvsagt «gruppere sammen» de svaralternativene man måtte ønske – akkurat som en SSB-statistikk kan velge å gruppere Stavanger sammen med resten av Rogaland, eller sammen med andre norske storbyer som Oslo, Bergen og Trondheim, eller sammen med andre byer med en stor oljenæring – alt ettersom hva statistikken omhandler og hva slags analyser man ønsker å foreta. Men uansett hva slags «gruppering» man velger, så kan man ikke summere opp tallene for alle rogalendinger/storbyer/oljebyer og så påstå at dette representerer Stavanger alene!

Det er også tydelig – og skuffende – at NRK ikke fulgte henstillingen om å henvende seg til DSB for å få avklart hva tallene egentlig betydde. Det tok nemlig bare 6 (seks) minutter fra jeg kontaktet DSB og påpekte feilen i deres pressemelding, til kommunikasjonsdirektøren responderte med å takke, beklage og si seg enig i at deres beskrivelse «åpenbart» var feil. Pressemeldingen ble rettet til «1 av 3 nordmenn er bekymret eller svært bekymret for at terrorister skal…» neste morgen, og NRK kunne altså lekende lett fått samme avklaring ved en enkel henvendelse til kilden – men isteden inneholder deres artikkel fortsatt den samme feilen i skrivende stund.

Som tidligere nevnt, hadde det aldri ramlet meg inn at denne lite vesentlige feilen skulle avstedkomme en slik lang prosess elller artikkel fra min side. Men selv om feilen i seg selv er nokså marginal, så er prosessen i seg selv avslørende for hvor avsindig vanskelig det kan være å få korrigert en feilaktig påstand når den først har oppstått.

På én måte føles det litt urettferdig å rette kritikken særlig mot NRK, som i det minste tok seg å besvare mine henvendelser og forsvare sin mangel på retting (i motsetning til visse redaksjoner som er mer tilbøyelige til å avvise henvendelsen med «Vi forholder oss ikke til anonyme!», eller bare ignorere den fullstendig). Men det er likevel bemerkelsesverdig og betenkelig at man, selv når man faktisk investerer tid til å undersøke saken og gå i dialog, fortsatt tviholder på en tolkning som er så åpenbart feil.

I dette tilfellet hadde man altså direkte tilgang på en primærkilde som helt eksplisitt oppga at det var kun 11% som svarte «svært bekymret». Ikke bare presenteres dette i et lettfattelig og tydelig diagram, men til alt overmål står det uttrykkelig i tekstboksen ved siden av at «En andel på 11% oppgir at de er svært bekymret for ‘Terrorangrep i Norge’«.

At NRK fortsatt insisterer å beholde sin feilaktige fremstilling – med henvisning til at de bare følger DSBs tolkning av rapporten – er et grelt eksempel på hvordan «Jammen, det står jo her at ____» blir et argument som det krever ekstraordinære motbevis for å overvinne. Når i tilllegg det er en presumptivt autoritativ kilde som har skrevet at ___, kan det være nesten umulig å imøtegå dette – selv når man, i dette tilfellet, kan vise til primærkilden og påvise at den ikke gir grunnlag for å si ___; og den autoritative kilden til alt overmål ville vedgått at de hadde gjort en feil dersom man bare hadde tatt seg bryet med å spørre dem.

Moralen i historien er todelt: For det første må media bli flinkere til å gå direkte til kilden og kontrollere opplysninger (selv når de er videreformidlet fra egen organisasjon), og ikke bare automatisk anta at gjengivelsen er korrekt. Ikke minst må media skjerpe seg i så måte når det gjelder rapportering av funnene fra ulike undersøkelser – der er normen at man bare slavisk gjengir pressemeldingen fra de som har bestilt undersøkelsen, selv om primærkilden er enkelt tilgjengelig (og bestilleren ofte kan ha interesse av å vinkle resultatene i en eller annen retning).

Og for det andre: Nettopp fordi slike gjengivelser tillegges en slik voldsom beviskraft (og dette kommer til å fortsette å være tilfelle i overskuelig fremtid), må media være seg sitt ansvar bevisst og passe på at de selv ikke setter feilaktige opplysninger på trykk. Selv opplysninger som er perifere med tanke på ‘hva artikkelen egentlig handler om’, må kontrolleres og dobbeltsjekkes – fordi i det øyeblikket de er publisert, vil de potensielt bli gjentatt og betraktet som ugjendrivelig fasit i det uendelige.

Advertisements

Kommentér gjerne, selv om du ikke har noe spesielt dypsindig å komme med. E-post adresse er ikke påkrevet.

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s