Å sammenlikne pasienter som får behandling i dag, med tilsynelatende like pasienter som tidligere har fått andre behandlinger for samme sykdom

Forskere sammenlikner enkelte ganger pasienter som er under behandling i dag, med tilsynelatende samme typen pasienter som har fått andre slags behandlinger tidligere for samme sykdom. Dette kan gi pålitelig dokumentasjon hvis behandlingseffektene er dramatiske ­ for eksempel når en ny behandling nå betyr at noen pasienter overlever en sykdom som tidligere var dødelig. Hvis behandlingseffekten imidlertid ikke er dramatisk, men likevel nyttig å vite om, er det potensielt problematisk å bruke slike “historiske kontrollgrupper” for sammenlikning. Selv om forskere bruker statistiske korreksjoner og analyser for å forsikre seg at likt blir sammenliknet med likt, kan ikke disse analysene gjøre rede for relevante trekk hos pasientene i kontrollgruppene som ikke er blitt registrert. Dermed kan vi aldri være helt sikker på at likt blir sammenliknet med likt.

Problemene kan illustreres ved å sammenlikne resultater av samme type behandling gitt til like pasienter, men på ulike tidspunkter. Ta for eksempel en analyse av 19 pasienter med fremskredet lungekreft, hvor man sammenliknet årlige dødelighet med samme type pasienter som hadde fått akkurat samme behandling, men til andre tidspunkter. Selv om man kunne forvente liten forskjell i dødelighet, var det faktisk store forskjeller: De varierte fra 24 % bedre til 46 % dårligere. [4]

Det var åpenbart at forskjellene ikke skyldtes at behandlingen var blitt endret, ­ den var akkurat som før, ­ eller at pasientene var merkbart forskjellige ­ – det var de ikke. De ulike dødsprosentene gjenspeilte antakeligvis ukjente forskjeller mellom pasientene eller urapporterte endringer over tid (bedre pleie eller infeksjonskontroll, for eksempel) som ikke kunne tas med i beregningen da sammenlikningen ble gjort.