Sykefraværende statistikkforståelse?

(Unødvendig lang og egentlig overflødig innledning: Dette blogginnlegget skulle egentlig sett ganske annerledes ut. Etter å ha sett mandags-Dagsrevyens reportasje om sykefravær, skulle jeg egentlig skrevet et mer resonnerende blogginnlegg om hva som kan være forklaringer og årsakssammenhenger bak disse tallene – men når jeg så leste den bakenforliggende forskningsrapporten for å sikre at jeg gjenga den riktig, så dukket det opp en del ting som fikk meg til å stille spørsmål ved relevansen og gyldigheten til selve tallene. Som profesjonell dilettant forsøker jeg som regel å holde meg til de blogginnlegg som ikke krever annet enn vilje til synsing sunn fornuft og observasjonsevne, men her var det ting som var så påfallende at det burde være mulig å påpeke det, også for en Bjørn blogger med Bare Liten Forstand Statistikkompentanse. Derfor våger jeg meg ut på litt statistisk tynn is i deler av dette innlegget, i håp om at jeg har mine ord i behold og at den årvåkne leser kan korrigere eventuelle misforståelser som jeg måtte ha gjort meg skyldig i.)

Mandagens toppsak på Dagsrevyen var altså den «rykende ferske forskningen» som – ifølge NRK – viser at «frykt for å miste jobben fører til lågare sjukefråver«.

(I parentes bemerket: Rapporten er fra desember 2011, så nøyaktig hvor «rykende fersk» den egentlig er er vel et definisjonsspørsmål. [Redigert: Det viser seg at NRK hadde lenket til feil versjon av rapporten – den nyeste versjonen er fra desember 2013 og kvalifiserer klart som «rykende fersk». Med ett ørlite unntak (den nye rapporten måler også privat sykefravær), så endrer ikke den nyeste versjonen på noen av mine innvendinger eller påpekninger.])

NRKs nettartikkel om saken forteller oss at:

Frykt for å miste jobben fører til lågare sjukefråver. Dette er konklusjonen til forskarane som studerte kva som skjedde med helsa til arbeidstakarane i dei såkalla Terra-kommunane.

Hausten 2007 small bomba. Åtte norske kommunar hadde brukt sparepengar på kompliserte spareprodukt i USA og tapt millionar av kroner. I dei samme kommunane gjekk sjukefråveret betydeleg ned.

Forskarane på Universitetet i Bergen stilte seg spørsmålet: Korleis hadde sjukefråveret vore i Terra-kommunane, dersom dei ikkje vart råka av skandalen? Svaret dei fann var både overraskande og tydeleg:

I dei åtte kommunane gjekk sjukefråveret ned med 10 prosent, samanlikna med 167 andre kraftkommunar.

(…)

Ned 10 prosent

– Sjukefråveret gjekk betrakteleg ned blant dei kommunalt tilsette i Terra-kommunane det påfølgande året. Nedgongen er på heile 10 prosent for kvinner, samanlikna med året før skandalen, fortel Karin Monstad som er forskningsleiar ved Uni Rokkansenteret.

Kvinnene reduserte sjukefråveret sitt fra 7,2 dagar i snitt før Terra-krisa til i snitt 6,5 dagar. [Her har journalisten glemt å føye på enheten «pr. kvartal», min anm.] Tilsvarande nedgong finn ein ikkje i dei andre kraft-kommunane eller blant dei som jobba i privat sektor i Terra-kommunane.

(Nok en parentes: NRK skriver også at «Forskarane (…) har samanlikna sjukefråveret i offentlege verksemder og private. Resultata viser at sjukefråveret i private verksemder ikkje gjekk ned, slik dei gjorde på offentlege arbeidsplassar som barnehagar, sjukeheimar og skular.» Selv har jeg ikke klart å finne noen tall for privat sykefravær i rapporten (tvert imot sier forfatterne at de har sett utelukkende på offentlige ansatte, og t.o.m. ekskludert de arbeidstakere som jobbet i både privat og offentlig sektor samtidig), så hvis journalistene kunne peke meg i retning av disse tallene ville jeg være takknemlig for det.)

Bedriftsforbundets administrerende direktør Lars Erik Sletner mener dette viser at norske arbeidstakere er «bortskjemte», og at arbeidsgivere bør kunne innføre én karensdag, slik at ansatte får et «økonomisk incentiv til å stille på jobb» ved at man ikke får lønn første dagen man er syk.

Arbeidsminister Robert Eriksson var mer tilbakeholden, og ville ikke gå bort fra regjeringens valgløfte om å opprettholde dagens sykelønnsregler – selv om Dagsrevyens Viggo Johansen mente at rapporten var «krystallklar på at sykefraværet går ned når folk er usikre«.

Mon dét?

Som også faktaboksen i NRKs artikkel sier, så baserer studien seg på NAVs sykefraværstall – nærmere bestemt forekomsten av legeerklærte sykemeldingsdager som NAV utbetaler sykepenger for.

Og hva er det som karakteriserer NAVs utbetalinger av sykepenger? Jo, de begynner først fra og med 17. sykemeldingsdag. Forskerne skriver uttrykkelig* at det er utelukkende dette sykefraværet over 16 dager  (heretter i denne artikkelen omtalt – noe upresist – som «langtidsfravær») som de har målt – korttidsfravær har de overhodet ikke innhentet data på. (De rettferdiggjør så dette med en (ikke ytterligere begrunnet) påstand om at dette utgjør en «lavere grense» for effekten av «Terra-sjokket» – en påstand som undertegnede har store problemer med å forstå, all den tid endringene i kort- og langtidsfraværet åpenbart vil kunne trekke i motsatte retninger og (helt eller delvis) oppveie hverandre, dersom korttidsfraværet øker parallelt med at langtidsfraværet går ned.)

Med andre ord: Koblingen til innføring av karensdag er i beste fall uhyre tynt begrunnet, fordi rapporten ikke sier noenting om hvorvidt folk i Terra-kommunene unnlot å melde seg korttidssyke. Den eneste måten man kan koble dette til effekt av karensdager, er å gjøre den svært tvilsomme antagelsen at de samme mekanismene som (angivelig) fikk langtidssyke til å komme seg fortere på jobb pga. frykt for negative konsekvenser (i dette tilfellet å miste jobben pga. nedbemanning), også vil få folk til å hoppe over sykemeldinger helt for å unngå å bli straffet med lønnstapet for 1 karensdag. (Forskerne presiserer også at mens de finner en klar endring i antall sykefraværsdager, så er endringen i antall sykemeldingsperioder mye mindre, og forsvinner helt dersom man stryker Rana kommune og bare ser på de syv andre Terra-kommunene. Riktignok er ikke dette et 100% nøyaktig mål på antall sykemeldingsperioder, fordi forekomstvariablen bare teller hvorvidt hver enkeltperson var langtidsfraværende i løpet av hvert kvartal (mao: den fanger ikke opp om man en er sammenhengende syk eller syk-frisk-syk igjen innenfor samme kvartal) – men det er i hvert fall (som forskerne også skriver uttrykkelig) en klar indikasjon på at effekten gjør seg gjeldende i form av kortere sykefravær og ikke færre sykefravær.

Like fullt mener en av journalistene bak saken at disse opplysningene om hva studien faktisk måler er av underordnet betydning:

Om dette ikke er å si at denne informasjonen ville komplisere saken (og attpåtil var forhold helt tilbake til 2008), så er det veldig nære…

Det at rapporten ignorerer korttidsfravær, betyr også at NRKs påstand om at: «I dei åtte [Terra]-kommunane gjekk sjukefråveret ned med 10 prosent«, er kategorisk feil, ettersom de ikke vet noenting om utvikling i korttidsfraværet, og derfor heller ikke kjenner totalfraværet. I beste fall kan de forsøke å forsvare påstanden om at «Sykefraværet i samtlige Terra-kommuner gikk ned» med at reduksjonen i langtidsfraværet er så stor at den ikke kan helt nulles ut av en eventuell økning i korttidsfraværet (skjønt hvis jeg leser tabellene riktig, så er endringene tross alt såpass små at det synes vanskelig å utelukke dette). Det er i hvert fall klart at det eneste man kan tallfeste er at langtidsfraværet (altså over 16 dager) gikk ned med 10% etter «Terra-sjokket».

Eller…..gjorde det egentlig det?

Nå beveger jeg meg ut på den tidligere nevnte statistiske tynne isen, men som jeg leser tabellene er de rimelig entydige: Folk i Terra-kommunene hadde et gjennomsnittlig langtidsfravær på 6,625 dager pr. kvartal før sjokket, og 6,639 dager pr. kvartal etter sjokket – altså en (marginal) økning på 0,014 dager pr. kvartal. Når man ser på tallene kun for kvinner (som skiller seg ganske kraftig fra menn, her som i mye annen sykefraværsstatistikk), så blir økningen adskillig tydeligere – fra 7,234 til 7,403 dager. Nå skal det sies at disse råtallene inneholder også de personene som bare jobbet i kommunen i deler av den analyserte perioden, mens forskernes videre analyse dels ser på bare de personer som jobbet i kommunen kontinuerlig i analyseperioden 2006-2008. Jeg klarer ikke å finne råtallene som ser på bare denne gruppen av «kontinuerlig ansatte», men det synes for meg som om den samme tendensen også er gjeldende i denne undergruppen – og at grunnlaget for å likevel si at «frykten» ga lavere sykefravær ligger i at man ser på forskjeller av forskjeller. Det vil si at man ser hvor mye sykefraværet endret seg i Terra-kommunene, og så sammenligner dette med endringen i kontrollgruppen. Når kontrollgruppens sykefravær øker betydelig fra 2006/07 til 2008, så vil Terra-kommunes mindre økning bli forstått dit hen at «sjokket» gjorde at sykefraværet ble lavere enn det ellers ville vært – selv om de reelle tallene faktisk økte. (Klimapolitikk-engasjerte vil dra kjensel på problemstillingen fra klimaforlikets referansebane for CO2-utslipp. Hvis du ikke aner hva jeg prater om: følg lenken og bli skremt/oppgitt/forarget/strykdetsomikkepasser)

At det faktisk er dette som er tilfelle, underbygges også av intervjuet på Dagsrevyen med rapportforfatter Monstad, der hun sier (min uth.) at «Sjukefråværet blant dei som var tesette i Terra-kommunar gjekk ned sammenligna med tesette i andre kommunar i året etter at Terra-krisen vart kjent«. Altså ikke «sykefraværet gikk ned», men «sykefraværet gikk ned sammenlignet med kontrollgruppen«.

Nå må jeg skynde meg å tilføye at dette absolutt er en gyldig – for ikke å si den riktige – statistisk metode. Hvis det er en generell trend i hele befolkningen (eller i visse grupper i befolkningen, som f.eks. alle kommunalt ansatte) at sykefraværet går opp, så er man nødt til å måle og trekke fra denne bredere trenden før man kan si noe om hvordan en spesifikk hendelse som «Terra-sjokket» påvirket den observerte gruppen av arbeidstakere. Poenget mitt er at det er feilaktig av NRK (såfremt min forståelse av tallene er riktig) å skrive at «sykefraværet gikk ned», når det de mener er at «sykefraværet gikk mindre opp det ellers ville ha gjort».

Så er det en annen pussighet når man sammenligner råtallene for Terra-kommunene og kontrollgruppen: Jeg nevnte tidligere at folk i Terra-kommunene hadde et gjennomsnittlig langtidsfravær på 6,625 dager pr. kvartal før sjokket, og 6,639 dager pr. kvartal etter sjokket. For kontrollgruppen er tallene henholdsvis 5,869 og 6,305. Med andre ord: selv etter at Terra-sykefraværet hadde ligget nesten stabilt fra 2007 til 2008, samtidig som kontrollgruppens sykefravær økte betydelig, så hadde Terra-kommunene fortsatt (litt) høyere sykefravær enn kontrollgruppen (fordi de hadde et betydelig høyere sykefravær forut for «sjokket»).

Selv om denne forskjellen ikke i seg selv gjør kontrollgruppen verdiløs som korreksjon til Terra-kommunenes resultater, så bør det likevel mane til en viss ettertanke. Forskerne har tross alt passet på å velge seg ut en kontrollgruppe på 167 kommuner med vannkraftinntekter (fordelt over 16 av Norges 20(sic!) fylker), for at disse skal ligne mest mulig på Terra-kommunene (med det ene unntak at kontrollgruppekommunene ikke hadde satt innbyggernes penger over styr med investeringer i kompliserte spareprodukter). Nå tallene så viser et såpass stort sprik mellom kontrollgruppe og Terra-gruppe forut for sjokket som skulle utgjøre den målbare forskjellen mellom de to gruppene, så bør det kanskje ringe noen varselklokker om at kontrollgruppen ikke matcher forsøksgruppen så godt som den burde.

Så kommer vi til NRKs opplysning om at «Kvinnene reduserte sjukefråveret sitt fra 7,2 dagar i snitt før Terra-krisa til i snitt 6,5 dagar«. Utgangstallet på 7,2 samsvarer med råtallene, mens det reduserte tallet på 6,5 tilsynelatende (etter hva jeg forstår) er hentet fra rapporten graf 3, som viser at sesongjusterte gjennomsnittlige antall sykefraværsdager ligger stabilt i 1. og 2. kvartal 2008, for så å synke i 3. kvartal, og videre ned til om lag 6,5 dager i 4. kvartal. Jeg oppfatter at den sesongjustering som det her er snakk om, handler om å «jevne ut» grafen ved å ta bort den økningen i sykefravær som man over mange år har sett at regelmessig inntreffer på vinterstid. Dette samsvarer også med råtallene, som – selv om de ikke er brutt ned kvartalsvis – ikke ser ut (etter hva jeg kan bedømme) å gi rom for en så sterk nedgang i de absolutte tallene.

Hvis min forståelse er korrekt, så er dette en helt fornuftig og legitim måte å fremstille utviklingen på (sykefraværet er lavere i 4. kvartal enn den sesongvarierte økningen som man ville forventet som utgangshypotese). Imidlertid: Selv om forholdstallet 7,2/6,5 gir et korrekt bilde av utviklingen i sykefraværet, så blir det flisespikkete formelt sett ukorrekt av NRK å si at «sykefraværet sank til 6,5 dager», når realiteten er at «sykefraværet sank til det som ville vært 6,5 dager hvis det ikke hadde vært høyere fordi det var vinter».

En annen ting er at dette reduserte tallet på 6,5 sykefraværsdager pr. kvartal ikke ser ut å gjelde for hele «ettersjokkperioden», men kun for 4. kvartal – og vi vet ingenting om hvordan utviklingen så var etter dette. Det er nemlig en annen ting som riktignok blir sagt tydelig i nettartikkelen, men som drukner i en bisetning i reportasjen på Dagsrevyen: Rapporten har kun sett på årene 2006, 2007, og 2008 – to år forut for «sjokket», og ett år i etterkant. Hvordan sykefraværet utviklet seg etter dette sier rapporten (sin «rykende ferskhet» til tross) ingenting om, og forskerne er klare på at det er høyst sannsynlig at den sykefraværsreduserende effekten er kortvarig og ikke vedvarer over tid. Den ene informasjonen om langtidseffektene som jeg har klart å grave opp (med min veldig lille Google-spade), er fra Hemnes kommune:

Fra 2007 til 2008 gikk sykefraværet betydelig ned. «Dette er en indikator på om vi lykkes eller ikke», skriver rådmannen i søknaden til Fylkesmannen.

Fra første halvår 2008 til første halvår 2009 gikk derimot sykefraværet markert opp, med 16,6 prosent, ifølge Statistisk sentralbyrå.

Konklusjonen bør være at når man trekker frem tallet 6,5 dager, så har man plukket ut den ene verdien som gir størst utslag ift. den gamle verdien – uten å gi noen empirisk eller deduktiv begrunnelse på at 4. kvartal gir noe mer gyldig mål på effekten av «sjokket» enn hva 1. eller 2. kvartal gjør. Man kan heller ikke nødvendigvis anta at dette predikerer en fortsatt reduksjon ut i 2009 – og man kan meget vel spekulere i at det stikk motsatte kan skje, ved at folk som har presset seg til å gå på jobb pga. situasjonen etterhvert ikke klarer  å opprettholde dette, slik at man får en markant oppgang igjen (som i Hemnes).

Du henger med ennå? Vel, det kommer enda litt til:

Jeg nevnte tidligere at rapporten (i hvert fall tildels) fjerner de personene som bare jobbet i kommunen i deler av perioden fra tallmaterialet, og bare ser på de personer som jobbet i kommunen kontinuerlig i analyseperioden 2006-2008. Men det er ikke de eneste personene som de ser bort fra:

In order to ease the construction of the data set we exclude individuals with a very high number of sickness absence spells.

Nå forstår jeg at enkeltpersoner med høyt antall fraværsperioder kan forskyve snitt-tallene på en slik måte at man får et skjevt bilde av totalsituasjonen. Jeg skulle imidlertid gjerne ha sett noe mer konkret informasjon om hvor mange personer/hva slags datapunkter det her var snakk om. Dersom det var snakk om mer enn et helt marginalt antall personer, så burde i hvert fall konklusjonem om sykefraværsreduksjon utstyres med det klare forbehold at man ikke har regnet med de personene som allerede hadde et høyt sykefravær (og som meget vel kan antas å være aller mest sårbare for negative effekter). Det kommer heller ikke klart frem om man har ekskludert kun de personene med høyt antall fravær over hele perioden, eller om det å ha et «veldig høyt antall fraværsperioder» i 2008 er tilstrekkelig til å bli fjernet fra datasettet. Dersom dette er tilfelle, (og jeg understreker dersom, for det er umulig å lese seg til hvorvidt det er dette de har gjort ut fra rapporten) så blir rapportens konklusjoner bortimot verdiløse – alt den da sier er at «Frykt for å miste jobben fører til lavere sykefravær, forutsatt at man ser bort fra de personene som blir veldig syke av slik frykt». (Det overlates til leseren å trekke parallellen til fritak fra nasjonale prøver.)

Også avgrensningen mellom «før sjokket» og «etter sjokket» blir gjort på en noe forenklet måte:

The pre- and post-shock periods are defined, respectively, as Q1, 2006 – Q4, 2007 and Q1- Q4, 2008. Media reports on the financial losses commenced in October–November 2007 but it seems reasonable that potential effects on absence level would be observed no sooner than the next quarter.

Terra-saken «sprakk» i Finansavisen 31.10. 2007, og når vi var kommet til slutten av november hadde Terra Securities begjært seg konkurs og aksjonærene hadde uttalt at de ikke kom til å bistå de rammede kommunene. Hvorfor det «virker rimelig» å anta at en slik situasjon ikke vil kunne slå ut på sykefraværet før i januar 2008, er litt vanskelig for undertegnede å forstå.

Vel, da var jeg kommet til veis ende når det gjelder selve metodikken i studien og NRKs gjengivelse av dem, men de som har lest seg helt til bunns og fortsatt har appetitt på mer, kan titte innom igjen om noen dager for å lese undertegnedes tidligere nevnte innvendinger mot tolkningene av tallene og årsaksforklaringene som legges til grunn for dem. (Oppmuntrende tilrop i kommentarfeltet kan fremskynde skrivingen av nevnte innvendinger. 🙂 )

 

*) Tilføyelse 16.1: Det er også verdt å bemerke at selv om utelatelsen av korttidsfraværet kommer frem i rapporten, så må man lese den temmelig nøye for å oppdage denne ganske vesentlige opplysningen om tallmaterialet. I denne lengre presentasjonen av funnene på Forskningsrådets nettsider nevnes ikke dette momentet med ett ord – forfatteren gjør som NRK, og snakker som om man har målt totalfraværet.

Advertisements

6 thoughts on “Sykefraværende statistikkforståelse?

  1. Eg har ikkje lest rapporten, men det som slo meg då eg såg innslaget på Dagsrevyen var korleis dei kunne seie at det var frykt som evt. førte til ein reduksjon i fråveret? Er det gjort grundige intervju med folk, eller korleis kom dei til dette med frykt. Kan det like gjerne tenkast at det var vilje til å ta i eit ekstra tak for ein hardt pressa kommune som gjorde utslaget?

    Lik

    • Du trekker frem et viktig og bra meget relevant poeng som står høyt oppe på listen min momentene å diskutere i det nevnte oppfølgingsinnlegget (det har dessverre blitt noe utsatt pga. andre NRK-oppslag).

      Forskerne har ikke foretatt noen intervjuer eller tilsvarende for å fastslå om det var frykt for å miste jobben som var utslagsgivende (faktisk har de nokså begrenset med bevismengde for i det hele tatt å hevde at Terra-tapene førte til overhengende fare eller frykt for nedbemanning i disse sektorene). Forskerne sier bare – uten noe særlig bevisførsel – at de anser dette som en «rimelig hypotese».

      Som du ganske riktig påpeker, så kan det være vel så nærliggende å tolke dette som at personer som er genuint syke likevel presser seg til å gå på jobb i en bedrift som er i en anstrengt situasjon – f.eks. fordi de vet at det ikke fins penger til å leie inn vikarer, og at det er kollegene/brukerne som kommer til å bli direkte skadelidende dersom du er fraværende (og at siden ingen vikar vil erstatte deg, så vil det være bedre for dem at du stiller på jobb selv om du bare går for halv eller kvart maskin). Dette er kanskje særlig relevant for langtidsfraværet, der det er mye rom for at en person som blir sykemeldt i f.eks. fire uker, likevel kan si etter tre uker at «ja, jeg kan vel klare å karre meg på jobb i dag».

      Lik

  2. Tilbaketråkk: Å lese den lille skriften i statistikken | Langust og korsnebb

Kommentér gjerne, selv om du ikke har noe spesielt dypsindig å komme med. E-post adresse er ikke påkrevet.

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s