Store nok antall i rettferdige tester
Når man prøver ut medisinske behandlinger er det av og til mulig å få tak i et tilstrekkelig antall deltakere ved å rekruttere deltakere fra ett eller to forskningssentre. For å fastslå hvordan en behandling påvirker sjeldne hendelser som død, er det ofte nødvendig å invitere pasienter fra mange forskningssentre og i mange land for å få pålitelig dokumentasjon. Da 10 000 pasienter i 13 land deltok i en studie, ble det for eksempel påvist at personer med alvorlige hodeskader som fikk steroider – en behandling som har vært brukt i mer enn 30 år – kunne dø av behandlingen. [2] En annen rettferdig sammenligning som ble organisert av det samme forskerteamet omfattet 20 000 pasienter i 40 land, viste at et enkelt og rimelig medikament kalt tranexamsyre reduserte dødeligheten av blødninger etter skader. [3]
Disse studiene ble utformet med tanke på å redusere risiko for systematiske feilkilder (bias) og for å redusere usikkerheten forårsaket av tilfeldigheter. Studiene er derfor eksemplariske i den forstand at de gir dokumentasjon av høy kvalitet med stor relevans for helseinstitusjoner over hele verden. I en spørreundersøkelse gjort av BMJ ble den andre av disse randomiserte studiene faktisk kåret til den viktigste studien i 2010.
Figuren til høyre baserer seg på data som det prisbelønte teamet har gitt oss, og illustrerer hvorfor det er viktig å basere anslag for behandlingseffekter på mest mulig informasjon for ikke å bli villedet av tilfeldigheter. Diamanten nederst i figuren står for totalresultatet av tranexamsyre-forsøket. Den viser at legemidlet reduserer dødsfall etter blødninger med nesten 30 % (risikoforholdet er akkurat over 0,7).
Det samlede resultatet er det mest pålitelige anslaget over effekten av dette medikamentet, selv om anslaget fra forskningssentre på kontinent A antyder en mindre dramatisk effekt (som ikke er statistisk signifikant og sannsynligvis er en underestimering av den sanne effekten). Anslaget fra forskningssentre på ”andre kontinenter” antyder en mer oppsiktsvekkende effekt (som sannsynligvis er et overestimat).
På lignende måte som betydningen av tilfeldige feil kan reduseres ved å slå sammen data fra flere forskningssentre i én internasjonal studie, kan resultater fra studier som ligner hverandre slås sammen statistisk – en metode som kalles ‘meta-analyse’.
Statistikere har utarbeidet metoder for meta-analyse i en årrekke, men det var først på 1970-tallet at bruken bredte om seg. Samfunnsvitere i USA var de første til å ta i bruk meta-analyser, og deretter fulgte medisinske forskere. Mot slutten av det 20. århundre var meta-analyser allment akseptert som et viktig element i det å gjennomføre rettferdige sammenlikninger.
I fem forskjellige land ble det for eksempel igangsatt separat finansierte studier for å besvare et 60 år gammelt spørsmål: Hvilket oksygennivå bør premature barn ha i blodet for å øke sannsynligheten for å overleve uten alvorlige funksjonshemninger?
Hvis oksygennivået er for høyt, kan barna bli blinde; er oksygennivået for lavt, kan barna dø eller utvikle cerebral parese. Fordi ulike oksygennivåer antakelig bare medfører moderate forskjeller selv blant disse skjøre spedbarna, trengs mange deltakere for å oppdage forskjellene. Forskergruppene som var ansvarlig for hver av de fem studiene, ble derfor enige om å slå sammen dokumentasjonen fra sine respektive studier for å kunne gi et mer pålitelig anslag enn det som var mulig ut fra hver enkelt studie alene. [4]