Om arbeidsmiljølov-statistikk: Utelatelser, misforståelser og regnefeil

Artikkelen er også publisert (i forkortete versjoner) på Manifest Tidsskrift og Journalisten.no.

Parallelt med onsdagens generalstreik mot de foreslåtte endringene i arbeidsmiljøloven, presenterte NHO en spørreundersøkelse (gjennomført av Sentio på oppdrag fra NHO) om folks syn på forslagene. NHO gir i all hovedsak en gyldig fremstilling av de resultatene som de presenterer – men som så ofte når interesseorganisasjoner foretar slike undersøkelser, må man bla seg inn i datamaterialet for å finne det svært tydelige resultatet som går i deres disfavør. Når Aftenposten så skal gjengi funnene, tar de ikke bare og viderefører NHOs utelatelse, men topper det med både «cherry-picking» og ren misforståelse av dataene, slik at deres fremstilling faktisk blir enda mer selektiv og misvisende enn NHOs versjon.

Når sekseren er verst

[Redigert: Jeg har fått såpass mange tilbakemeldinger på at jeg går for langt i dette ene avsnittet. og at dette er helt standard metode i diverse undersøkelser, at jeg har valgt å stryke hele avsnittet. Jeg synes fortsatt at utformingen er uheldig og uhensiktsmessig, men dette blir altså min strengt personlige og subjektive oppfatning og ikke et faktabasert ankepunkt mot undersøkelsen.]

Men før vi kan ta for oss manglene i presentasjonen av tallene, må vi først gå en runde med de metodiske svakhetene i selve undersøkelsen, Undersøkelsen består av en rekke påstander, der man skal oppgi hvor enig man er på en skala fra 1-6. Men i et anfall av overdreven kreativitet har Sentio valgt å definere 1 som «helt enig» og 6 som «helt uenig» – stikk motsatt av det som jeg vil anse som naturlig og intuitiv praksis. Jeg kan knapt huske å ha sett noen undersøkelse som definerer skalaen på den måten (ihvertfall ikke siden universitetene gikk over til bokstavkarakterer for 10 år siden). Selv der hvor man spør om noe negativt (som f.eks. «Hvor mye hodepine har du?»), vil jeg hevde at det normale er å definere 1 som «Ikke i det hele tatt» og 6 som «Veldig mye«.

At dette burde være den åpenbart naturlige løsningen, underbygges også av hvordan Sentio har regnet ut «standardisert gjennomsnitt» for hvert spørsmål. Her har man gitt hvert svaralternativ en tallverdi fra 0 til 100, slik at man uttrykker gjennomsnittet av alle svarene som én verdi – og da har man definert 0 som «helt uenig» og 100 som «helt enig«. Dette har den latterlig forvirrende konsekvensen at et spørsmål der flertallet svarer ‘1’ og ‘2’ (som defineres samlet som ‘enig’) vil ha et høyt standardisert gjennomsnitt, mens mange svar på ‘5’ og ‘6’ (som tilsvarende defineres som ‘uenig’) vil gi et lavt standardisert gjennomsnitt. Ikke bare skaper dette adskillig hodepine for oss som skal gå gjennom resultatene, men – og mye verre – det er en helt åpenbar risiko for at også de intervjuede går i surr i hvilke tall som betyr hva, især når de bare får disse definisjonene presentert muntlig i starten av et telefonintervju.

Jeg har i resten av denne artikkelen kritisert ulike tolkninger og fremstillinger ut fra antagelsen at alle resultatene faktisk er korrekte og valide – men jeg mener det kan ikke være tvil om at dette underlige metodevalget svekker tilliten til samtlige resultater. Det er helt reell grunn til å frykte at en signifikant andel av deltagerne misforsto skalaen (eller glemte seg underveis i intervjuet) og dermed svarte noe annet enn det de faktisk mente. En slik feilprosent vil igjen slå ut skjevt på resultatene, ved at forskjellen mellom flertallet og mindretallet blir mindre enn den egentlig skulle vært.

Er du for ting som er bra?

Det aller klareste resultatet i undersøkelsen, som naturlig nok vies stor oppmerksomhet både hos NHO og i Aftenposten, er at 67% av de spurte er helt/delvis enige i at «Fleksibel arbeidstid er et gode for arbeidstaker«.  Men det er all grunn til å spørre seg om hvor overraskende eller opplysende dette egentlig er, når man ikke har gitt noen mer konkret definisjon på hva man mener med begrepet «fleksibel arbeidstid».

Det er klart at bortimot alle vil være enig i at fleksibilitet er et gode for en arbeidstaker som kan styre dette 100% selv – og tilsvarende at fleksibilitet vil være en ulempe dersom arbeidsgiveren har uinnskrenket kontroll over når du skal jobbe. Stridstemaet i saken om denne delen av AML-endringene er hvorvidt arbeidsgiver vil bli gitt for store muligheter til å presse arbeidstakerne inn i ubekvemme turnuser. Det kan godt hende at flertallet er enig med regjeringen i at dette ikke er en fare (eller at de mener at det er en pris som er verdt å betale for de fordelene som følger med en liberalisering) – men vi kan ikke konkludere noen ting om dette ut fra denne spørsmålsformuleringen, fordi hver og en blir overlatt til å svare ut fra sin personlige forståelse av «fleksibel arbeidstid».

Det er dessuten ingenting i dette og tilsvarende spørsmål som forteller oss om disse folkene ønsker mer fleksibel arbeidstid (slik Kristin Skogen Lund kategorisk konkluderer) – eller om de mener at dagens lovverk er helt tilstrekkelig til å dekke deres behov og ønsker, og derfor ikke føler behov for noen endringer.

Positive og negative konsekvenser

Den delen av undersøkelsen som handler om midlertidige ansettelser, består av fire ulike spørsmål som alle er på formen (parafrasert): «Mener du at større adgang til midlertidige ansettelser vil føre til ____?» Den generelle trenden som undersøkelsen viser, er at det er en overvekt (noen ganger liten, andre ganger svært tydelig) av folk som er ‘enige’ i alle disse konsekvensene – både de positive og de negative. (Samlet sett anses de negative konsekvensene for å være adskillig mer sannsynlige enn de positive konsekvensene – stikk i strid med hvordan Kristin Skogen Lund gjengir undersøkelsen i Dagens Næringsliv).

I den grad man kan lese noe samlet budskap om ‘folk flest’ ut av svarene, så må det være at mange ser ut til å ha et nyansert syn der de ser at økt adgang til midlertidige ansettelser vil ha både positive og negative konsekvenser. Det er imidlertid svært vanskelig å trekke noen tydelige konklusjoner om hvorvidt folk ønsker en endring i regelverket eller ikke, ettersom vi vet lite eller ingenting om hvordan de avveier de ulike hensynene opp mot hverandre.

Det kan godt være interessant å måle hva folk mener om isolerte konsekvenser av en lovendring, men det er ganske påfallende at NHO/Sentio har bevisst unnlatt – i begge delene av undersøkelsen – å stille konkret spørsmål om folk er for eller mot de konkrete endringsforslagene. Det hadde vært såre enkelt å stille et tilleggsspørsmål med f.eks. alternativene «Jeg støtter disse lovendringene om [midlertidighet/fleksibilitet]» / «Jeg syns man burde endre, men ikke så mye som foreslått» / «Jeg vil beholde loven slik den er«, og det er nærliggende å spørre om man unngikk et slikt spørsmål ut fra en frykt for at disse svarene ville vist at folk vektlegger de negative konsekvensene av en endring mye mer enn NHO ønsker å promotere offentlig.

Tilsiktede utelatelser

At NHO ikke er så veldig ivrige på å snakke høyt om folks skepsis, blir ytterligere understreket når man leser deres presentasjon av de fire midlertidighets-spørsmålene. Når det gjelder spørsmålene om en liberalisering vil «gjøre det lettere å få flere inn i arbeidslivet«, eller «føre til økt brutalisering», skriver NHO at folk er «delt» på begge spørsmålene. Dette er forsåvidt riktig, selv om det underkommuniserer at differansen mellom ‘enige’ og ‘uenige’ er mer enn dobbelt så høy for sistnevnte (negative) konsekvens som for førstnevnte (positive) konsekvens. Videre trekker NHO frem at hele 24% er ‘helt enige’ i at lettere adgang til midlertidighet vil gi bedriftene flere muligheter til å finne ut om det er rom for å ansette flere – en helt gyldig presentasjon av et svært tydelig resultat der det er over dobbelt så mange ‘enige’ som ‘uenige’.

Men når vi kommer til det fjerde spørsmålet, om hvorvidt økt adgang til midlertidighet vil gå på bekostning av flere faste ansettelser, så er dette spørsmålet fullstendig utelatt fra NHOs presentasjon – til tross for at dette er det klareste og mest entydige av alle disse fire svarene! Her utgjør de ‘helt enige’ og de ‘delvis enige’ tre ganger så mange som de ‘helt/delvis uenige’, med totalt 53% enige mot bare 18% uenige. Da fremstår det som ganske tydelig at man har gjort en bevisst og selektiv utvelgelse av hvilke resultater man ønsker å formidle utad.

– – –

Men dette var altså NHOs egen presentasjon av saken, og det er neppe spesielt overraskende eller sjokkerende at en interesseorganisasjon med klare standpunkt i saken velger å snakke høyest om de resultatene de liker og overlater til gravejournalistene å finne de mer ubeleilige resultatene. Samtlige data ble tross alt gjort tilgjengelige, så når Aftenposten dekker resultatene av undersøkelsen burde man kunne forvente en balansert gjennomgang av tallene.

Ensidig utvelgelse

Men istedet serveres vi en Aftenposten-artikkel som (i hvert fall i sin opprinnelige versjon) – gir et enda skjevere bilde av tallene. Ikke bare har man fortsatt utelatt svarene om at flertallet forventer at midlertidige ansettelser vil gå på bekostning av faste, men i spørsmålet om brutalisering av arbeidslivet nevner man ikke den overvekten av folk som er enig i dette (38% enige mot 27% uenige) – derimot gjør man et poeng ut av at «Bare en av ti under 30 år tror midlertidige ansettelser kan føre til en brutalisering av arbeidslivet.» Samtidig gjengir man støtten til at økt midlertidighet vil gjøre det lettere for bedrifter å vurdere nyansettelser, og for flere å komme inn i arbeidslivet.

(I tillegg gjengis selvsagt tallet om at et stort flertall mener fleksibel arbeidstid er et gode for arbeidstaker, som brukes som både tittel og ingress. Det er ikke noe særlig å utsette på dekningen av dette tallet, selv om jeg undrer meg litt over hvorfor 67% enighet blir gjengitt som «Nesten 7 av 10» fremfor det (hakket) mer presise «2 av 3». Resten av min gjennomgang vil fokusere på Aftenpostens påstander om midlertidighet.)

Her har vi altså totalt fire spørsmål om økt adgang til midlertidighet, hvorav to er positive til endring og to er negative – men Aftenposten ender opp med å presentere tre positive funn (ved å trekke ut ett snevert underresultat av svaret om brutalisering) og ingen negative! Det burde være ganske innlysende at dette aldeles ikke er en holdbar eller balansert måte å presentere en slik undersøkelse på. Når det aller klareste resultatet av de fire punktene om midlertidighet (om negativ effekt på faste ansettelser) blir totalt utelatt fra gjennomgangen, så holder det ikke å forsvare seg (slik Aftenposten gjør) med at de har presisert at undersøkelsen kommer fra NHO og at de har latt LO komme til orde med mer generelle betraktninger.

Etter at jeg kontaktet Aftenposten i forbindelse med denne artikkelen og påpekte at dette var en lite holdbar ‘cherry-picking’ av tall, ble artikkelen justert ved at man også la inn totalresultatene for spørsmålet om brutalisering, slik at det nå står:

Fire av ti er enig eller delvis enig i at økt bruk av midlertidig ansettelse vil føre til et brutalisert arbeidsliv. Tre av ti er helt eller delvis uenig i dette.
Bare en av ti under 30 år tror midlertidige ansettelser kan føre til en brutalisering av arbeidslivet.

Men til tross for denne korrigeringen, blir fortsatt alle de tre resultatene om midlertidighet presentert på opptil flere fundamentalt villedende og uriktige måter – i tillegg til at det aller klareste midlertidighets-svaret, om negativ effekt på faste ansettelser, fortsatt er helt utelatt.

Absolutt ingen forbehold tillatt

Vi starter med påstanden om at «Bare en av ti under 30 år tror midlertidige ansettelser kan føre til brutalisering». En ting er at ordlyden på spørsmålet er blitt vridd fra «vil føre til» til «kan føre til» (og at man dermed feilaktig sier at alle de andre mener kategorisk at det ikke engang kan ha denne konsekvensen). Men den viktigste og alvorlige feilen er at dette tallet – 12% av de under 30 år – utelukkende angir de som har svart 1 – altså «helt enig«. Hvis man skal beskrive hvor mange som «tror midlertidige ansettelser kan føre til brutalisering«, så må man selvfølgelig også inkludere de som har svart ‘2’ (altså ‘delvis enig’). Dette er den standarden som NHO selv har brukt for å definere gruppene av ‘enige’, ‘uenige’ og ‘midt i mellom’ – og til alt overmål er det denne standarden (‘enige’ = svar 1 + svar 2) som Aftenposten selv bruker i foregående setning (altså den som ble tilføyd etter min henvendelse). Når man først skriver at «Fire av ti [i totalbefolkningen] er enig eller delvis enig«, så er det selvsagt ikke et menneske som kan skjønne at «Bare en av ti under 30 år tror midlertidige ansettelser kan føre til en brutalisering av arbeidslivet» viser til et tall som er beregnet på en annen måte, og som ikke kan sammenlignes direkte med «fire av ti«!

Når også de unge som er ‘delvis enige’ blir telt med, er vi oppe i 29% (knappe 3 av 10) som mener at økt midlertidighet vil gi økt brutalisering – mot 24% unge som er helt/delvis uenige. Det er altså riktig at unge har noe mindre tro på en slik brutalisering enn totalbefolkningen – men spriket er på langt nær så stort som Aftenposten fremstiller det, og også i denne aldersgruppen er det flere enige enn uenige. (Hvis vi sammenligner bare ‘helt enige’ mot ‘helt uenige’ blant unge, er de to gruppene nøyaktig like store.) Det er derfor ikke riktig når NHO skriver (tilsynelatende med konkret henvisning til dette spørsmålet) at «de yngre er mer positive enn de eldre«. Det er sant at de unge er en del mindre negative, men de er samtidig også mindre positive, og klumper seg sammen på de to ‘verken eller’-svaralternativene i midten. Når vi regner ut standardisert gjennomsnitt for alle svaralternativene på dette spørsmålet, ender de unge helt likt med totalbefolkningen (54 mot 55 på en 0-100 skala – milevidt innenfor feilmarginen.)

Så, for å oppsummere: Når Aftenposten skriver at «Bare en av ti under 30 år tror midlertidige ansettelser kan føre til en brutalisering av arbeidslivet» så er dette direkte feil, og mulige korrekte fremstillinger ville vært:

Bare 12% under 30 år er ‘helt enige’ i at økt midlertidighet vil føre til brutalisering – like mange som er ‘helt uenige’.
– Blant de under 30 år er det bare (knappe) 3 av 10 som er helt/delvis enige i at økt midlertidighet vil føre til brutalisering – men det er enda færre (1 av 4) som er helt/delvis uenige i dette.
– Unge under 30 er adskillig mer usikre på om økt midlertidighet vil føre til brutalisering – men gjennomsnittet av meninger for denne gruppen er akkurat det samme som for totalbefolkningen.

Forskjellen mellom Aftenpostens versjon og riktig versjon turde være betydelig.

Hvem var det man spurte igjen?

I presentasjonen av neste resultat gjør Aftenposten nøyaktig samme feilen, og skriver at «Bedriftene er, kanskje ikke helt overraskende, positive: én av fire tror flere midlertidige stillinger vil gjøre det enklere for dem vurdere nyansettelser.» Igjen har man bare telt de helt enige, og ikke tatt med de 22% ‘delvis enige’ som åpenbart også må være med, slik som utsagnet er formulert. (Siden dette er et spørsmål om en positiv konsekvens, bidrar feilen denne gangen til å sette lovendringene i et mindre positivt lys enn det korrekte.)

Men det som kanskje er hakket mer graverende, er at journalisten har komplett misforstått selve spørsmålet – etter rettere sagt, har misforstått hvem som har svart på det. Artikkelen påstår at dette er synspunktet til bedriftene – men det korrekte er at dette spørsmålet er blitt stilt til akkurat det samme utvalget på 1000 personer, med spørsmål om hvordan de tror dette vil påvirke bedriftenes muligheter. Når hele resten av undersøkelsen handler om meningene til mannen i gata, så skulle man tro det ville ringt noen bjeller hos Aftenposten når man plutselig begynner å snakke om hva bedriftene mener. Isteden har man – stikk i strid med realitetene – skrevet (min uth.) at undersøkelsen er gjennomført «blant 1000 i et representativt utvalg av befolkningen over 15 år, samt blant bedriftsledere«. Så noen har tydeligvis oppdaget diskrepansen, men istedenfor å tilpasse kartet etter terrenget, har man tilsynelatende konkludert med at det må være kartet som er korrekt og endret beskrivelsen av terrenget deretter.

Riktig spørsmål, feil svar

I sitt siste punkt skriver Aftenposten at «40 prosent av de spurte er helt eller delvis enige i at flere midlertidige ansettelser gjør det lettere å få flere inn i arbeidslivet.» I motsetning til de foregående punktene er spørsmålstillingen gjengitt presist denne gangen – til gjengjeld presterer man å oppgi et tall som ikke korresponderer med noen verdens ting (!) Det riktige tallet for helt+delvis enige på dette spørsmålet er 36%, og jeg må ærlig innrømme at jeg ikke skjønner hvordan Aftenposten har klart å få dette til å bli 40 prosent. (Den beste arbeidshypotesen jeg klarer å finne er at de har blingset på tabellen og brukt tallene for menn istedenfor totaltallene).

Aftenposten nevner forøvrig heller ikke at det er så mange som 31% som er helt/delvis uenige i denne påstanden – spriket er altså bare 5 prosentpoeng, det laveste utslaget av samtlige spørsmål. Igjen ser vi at Aftenposten-artikkelen gir et skjevere bilde av dette spørsmålet enn hva NHO gjør – NHOs presentasjon sier, korrekt nok, at folk er omtrent delt på midten i både dette spørsmålet og spørsmålet om brutalisering.

Oppsummering

Så totalvurderingen av Aftenpostens artikkel (selv etter at den ble endret som resultat av min henvendelse) blir som følger:

– På spørsmålet om «flere inn i arbeidslivet» har man oppgitt et uriktig (for høyt) tall for enighet, og nevner ikke at det er nesten like mange som er uenige.

– På spørsmålet om «økt brutalisering» har man oppgitt altfor lav grad av enighet blant de unge (ved at man kun teller de helt enige, selv om formuleringen åpenbart må inkludere også andre), og også på andre måter overdriver man forskjellen mellom de unge og resten av befolkningen.

– På spørsmålet om «flere muligheter for bedriftene å vurdere ansettelser», har man gjort den samme feilen med å telle bare de helt enige, i tillegg til at man har misforstått hvem som har besvart spørsmålet.

– Spørsmålet om «negativ effekt på faste ansettelser» er fullstendig utelatt fra artikkelen, til tross for at det har det klareste svaret av alle disse fire.

Det føles unektelig litt merkelig å måtte anbefale leserne å gå til en interesseorganisasjon fremfor til den uavhengige dagspressen for å få en minst mulig skjev og uriktig gjengivelse av en politisk spørreundersøkelse.

Les også:

Tre skritt til høyre + ett skritt til venstre = bevegelse mot venstre

Et spørsmål om midlertidighet og karantenetider

Advertisements

3 thoughts on “Om arbeidsmiljølov-statistikk: Utelatelser, misforståelser og regnefeil

  1. Tilbaketråkk: Når Aftenposten er skjevere enn NHO | Manifest Tidsskrift

  2. Tilbaketråkk: Men hva var egentlig spørsmålet om vaksiner? | Langust og korsnebb

  3. En liten kommentar om metodikk. Det er ingen fast regel om hvilken vei skalaer går i spørreundersøkelser, og det kan varierer fra undersøkelse til undersøkelse. Nettopp av den grunn har telefonintervjuere opplæring i å repetere skalaen jevnlig (I praksis legges det inn som en forklarende tekst mellom hver bolk spørsmål, som leses opp til respondenten). I tillegg skal undersøkelsens spørsmål formuleres slik at respondenten nødvendigvis må svare i både øvre og nedre del av skalaen for å være konsistent, på den måten kan man i etterbehandlingen sortere vekk de besvarelsene som ikke er innbyrdes sammenhengende, siden respondenten øyensynlig misforsto spørsmålene eller svarte på autopilot.

    Lik

Kommentér gjerne, selv om du ikke har noe spesielt dypsindig å komme med. E-post adresse er ikke påkrevet.

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s