Er det sunt å lese lettvint forskningsjournalistikk?

En kortere versjon av artikkelen er publisert på Journalisten.no.

2. påskedag gikk denne NTB-meldingen runden i en rekke norske medier:

Dansk forskning: Sunt å trene i uren byluft

Treningsglade bymennesker trenger ikke bekymre seg for luftforurensningen.

.

Mosjon gir nemlig alltid positive helseeffekter, slår en dansk undersøkelse fast.

(…)

– [D]et vi kom fram til var at den fysiske aktiviteten veier opp for luftforurensningen. De som ikke mosjonerer rammes også av den dårlige luften, men de får ikke den positive effekten som mosjon gir,

.

Forskernes konklusjon var altså at mosjon i forurenset luft er bedre enn ingen mosjon i det hele tatt.

Det burde ikke egentlig kreve så veldig mye forskningsinnsikt for å se at dette funnet ikke er det samme som at «Treningsglade bymennesker trenger ikke bekymre seg for luftforurensningen«, slik NTB-ingressen galant hevder. Tvert imot tyder studiens resultater på at det er helseskadelig (ihvertfall når man ser på dødsfall fra luftveissykdommer) dersom luften man trener i er forurenset:

In summary, our findings suggest that outdoor physical activity in areas with high air pollution may moderate, but not reverse the benefits of physical activity on respiratory mortality. In other words, our findings suggest that adverse effects of the additional pollutants inhaled over time do not outweigh the benefits of physical activitity.

.

– selv om disse skadevirkningene altså blir mer enn oppveid av de positive effektene av mosjon. Med andre ord: Det er bedre å trene i forurensning enn å la være å trene, men det er enda bedre å trene i ren luft.

Dette poenget nevnes forsåvidt også i siste setning av artikkelen:

Andersen mener likevel at det er bedre å trene i parken eller skogen, dersom en har mulighet.

uten at verken den anonyme NTB-journalisten eller avisene som viderebrakte meldingen ser ut til å ha følt noe behov for å korrigere den innledende setningen som impliserer at graden av luftforurensning er totalt irrelevant.

Forutsetninger og kriterier

Det er også verdt å minne om (slik studien fremhever) at studien kun er utført i København og Aarhus, med de tross alt moderate nivåene på luftforurensing som eksisterer der. Resultatene kan være relevante som ‘forbrukerjournalistikk’ for nordmenn i norske eller nordiske storbyer, men kan ikke nødvendigvis overføres til andre byer der forurensningen er langt høyere.

Vi kan også minne om at undersøkelsen utelukkende har telt dødsfall hos de undersøkte personene. Andre helseskader som folk kan ha blitt påført av «trening i forurensning» vil ikke bli fanget opp. Tilsvarende har studien pågått i «bare» (nesten) 20 år, så det er bare dødsfall innenfor dette tidsspennet som vil bli observert. En hypotetisk person som f.eks. dør som 75-åring som direkte følge av eksponering for forurensning tidlig i 50-årene,  vil ikke bli fanget opp.

Vi kan også presisere at selv om «Studien har pågått siden 1993» (slik NTB skriver), så har man bare målt folks mosjonsaktivitet i 5 av disse årene. Etter at datainnhentingen ble avsluttet i 1997, har man kun fulgt testpersonene ved å holde rede på deres bostedsadresse og ved å se hvor mange av dem som har dødd (av sykdommer som potensielt kunne relateres til luftforurensning). Forskerne påpeker selv at dette utgjør en mulig feilkilde, dersom folks treningsvaner har endret seg på ulike måter mellom 1997 og 2010.

Gitt disse begrensningene, er det kanskje lov å mene at resultatene egentlig ikke er så oppsiktsvekkende eller overraskende. Det betyr selvsagt ikke at det ikke er verdifullt og relevant å utarbeide konkrete forskningsdata og svar, også der man tror man vet svaret fra før. Jeg bare påpeker at det ikke nødvendigvis var så mange uansett som fryktet at  middelaldrende personer har økt risiko for å omkomme i.l.a. 20 år dersom de mosjonerer i nordiske storbyer.

Korrelasjon eller kausasjon?

En annen problematikk som alltid melder seg i denne typen undersøkelser (og som overhodet ikke berøres i NTB-artikkelen), er hvorvidt det faktisk er noen direkte årsakssammenheng mellom de to variablene (og hvilken retning denne årsakssammenhengen går).

I dette tilfellet ville en naturlig alternativ hypotese være at folk som allerede har dårlig helse vil trene mindre enn friske personer – og når det er høyere dødelighet i gruppen av ikke-mosjonerende, så skyldes det de underliggende helseplagene og ikke det faktum at de unnlot å trene. Tilsvarende kan vi tenke oss mange andre bakenforliggende faktorer (rusmisbruk, dårlig kosthold, manglende sosialt nettverk) som gir opphav til både manglende trening og høy dødelighet.

I realfagene, og til en viss grad også i medisinen, kan man løse dette problemet ved å bruke randomiserte tester, der det er helt tilfeldig hvilke testpersoner som får den eksperimentelle behandlingen og hvilke som ikke gjør det. Men for alle samfunnsforskere som ikke har et nordkoreansk statsapparat til disposisjon, så er det umulig å dele 50.000 personer i to tilfeldig valgte grupper og si «Alle dere i gruppe A skal mosjonere de neste to årene – alle i gruppe B har forbud mot mosjonering i samme periode.»

Når man skal utføre denne typen undersøkelser i den virkelige verden, er man nødt til å forsøke å kontrollere for denne typen bakenforliggende årsakene ved å samle inn mest mulig informasjon om testsubjektene, i et forsøk på å lage seg en kontrollgruppe som er helt identisk med testgruppen bortsatt fra den ene variabelen man skal teste. Men enhver slik prosess vil bare kunne måle en begrenset mengde med egenskaper hos testpersonene, og det vil alltid være en risiko for at resultatene egentlig skyldes en bakenforliggende årsak som man ikke har tenkt på eller fanget opp.

I denne konkrete undersøkelsen fremstår det som man har forsøkt å gjøre en grundig jobb med å ta høyde for flest mulig ytre faktorer:

The participants completed an extensive questionnaire on diet, smoking, alcohol consumption, education, occupation, physical activity, history of diseases and medication, and other health-related items, and provided bloodsamples, blood pressure, and height and weight measurements at enrollment

.

[Results are] adjusted for NO2, gender, calendar year, and mutually for other three physical activities, occupational physical activity, smoking status, smoking intensity, smoking duration, alcohol intake, environmental tobacco smoke, education, fruit and vegetable intake, fat intake, risk occupation, mean income in municipality, and stratified by marital status.

.

Så i dette henseende viser resultatene å være så gode og robuste som det er mulig for denne typen ikke-randomiserte studier å bli – men det utelukker som sagt fortsatt ikke at det fins noen skjulte, bakenforliggende årsakssammenhenger som man ikke har fanget opp (som forskerne selv kommer inn på: «Although numbers are small in the interaction analyses, the lack of effect of duration of cycling may imply that the cyclists themselves differ from the non-cyclists, and that in general, the effect of air pollution are minimal in healthy people.»).

Og NTB kunne med fordel nevnt at «Studien har kontrollert for personenes sykehistorikk, kosthold, etc.» – istedenfor det adskillig mindre viktige «Kjønn eller bosted hadde ikke innvirkning på resultatet, ifølge forskerne.»

Trener du ved å løpe rundt huset ditt?

Et større ankepunkt mot funnene, er forskernes metode for å måle hvor mye luftforurensning mosjonistene utsettes for.

For det første har man ikke fastslått verdiene for forurensning ved måling på hvert enkelt sted, men ut fra en datamodell over NO2-nivået på ulike steder i byen. Forskerne forsikrer om at modellen både er basert på jevnlige målinger og at den tidligere har vist seg å ha stor trekksikkerhet i å predikere faktiske NO2-verdier (og at disse igjen korrelerer sterkt med partikkel-forurensning), så sånn sett virker tallene å ha stor troverdighet (selv om man kan diskutere valget om å regne ut gjennomsnittet av alle årsverdier siden 1971) – men det vil alltid være en sjanse for at det er visse punktutslipp som en slik modell ikke fanger opp.

Men det som gir adskillig større grunn til forbehold, er at forurensningen for hver enkelt forsøksperson utelukkende er beregnet ut fra personens bostedsadresse. Utregningene tar ikke noen som helst høyde for det faktum at folk ikke nødvendigvis mosjonerer rett uten egen stuedør. Noen vil jobbe og trimme i egen hage eller jogge en rundtur i nabolaget. Andre vil sykle langt av sted, eller ta bil/kollektivtransport ut av byen før de starter treningsøkten – men i studien vil også disse bli registrert som om de hadde mosjonert i byluften der de bor.

Forskerne innrømmer og påpeker at dette utgjør en klar svakhet ved deres metodikk, men ser ikke ut til å gjort noen forsøk på å kontrollere for eller kvantifisere denne feilkilden (utover noen veldig svevende og udokumenterte argumenter om at pensjonister sannsynligvis mosjoner nære hjemmet(?)).

Forskerne påpeker likeledes at studien ikke har gjort noe skille mellom utendørs og innendørs treningsaktiviteter – og de potensielle forskjellene i luftforurensning som det kan medføre.

Alt dette gjør at man bør ta betydelige forbehold i sine konklusjoner, fordi man rett og slett ikke kan vite sikkert om «hvor forurenset var luften som folk mosjonerte i»-tallene samsvarer med virkeligheten eller ikke.

Men dessverre ser vi her – som i mange andre sammenhenger – at når forskerne legger en bunke med tall på bordet, så er det uhyre få journalister som tar seg bryet med å stille kontrollspørsmålet «OK, men hvordan har du kommet frem til disse tallene?»