Ta hensyn til tilfeldighetenes spill

Hovedpunkt

  • Vi må ta hensyn til tilfeldighetenes spill (muligheten for tilfeldige feil) når vi vurderer hvor stor tillit vi kan ha til dokumentasjonen som foreligger

Introduksjon:  Tilfeldigheter og loven om store tall

Pålitelig kunnskap om behandlingseffekt avhenger av at man forebygger systematiske feil eller bias (og at man tar hensyn til bias som ikke har vært til å unngå). Så lenge disse kjennetegnene på en rettferdig test ikke er oppfylt kan ikke videre bearbeiding av forskningsresultatene hjelpe deg med å bli kvitt problemene og de farlige – av og til dødelige – konsekvenser av dette. Selv om man lykkes med å redusere risiko for systematiske feilkilder kan man fortsatt villedes av tilfeldighetenes spill.

Alle innser at det ikke er helt uvanlig å få en «rekke» med fem eller flere mynt eller kron etter hverandre når en mynt kastes gjentatte ganger. Og alle forstår at jo flere ganger du kaster mynten, desto mer sannsynlig er det at du vil ende opp med et ganske likt antall kron og mynt.

Ved sammenlikning av to behandlinger kan en observert forskjell gjenspeile tilfeldighetenes spill. La oss si at 40 % av pasientene dør etter behandling A. Til sammenlikning dør 60 % av en gruppe tilsvarende pasienter etter behandling B. Tabell 1 viser hva du kan forvente dersom 10 pasienter gjennomgår hver av de to behandlingstypene. Forskjellen i antall dødsfall mellom de to behandlingene er uttrykt som et ”risikoforhold” (risiko ratio). Risikoforholdet i dette eksemplet er 0,67.

 

Behandling A Behandling B Risikoforhold (A:B)
Antall som døde 4 6 (4:6 =) 0.67
Av (totalt) 10 10
Tabell 1. Gir denne lille studien et pålitelig estimat (anslag) over forskjellen mellom behandling A og behandling B?

 

Er det fornuftig å konkludere med at behandling A er bedre enn behandling B hvis du baserer deg på så små tall? Antakelig ikke. Det kan være helt tilfeldig at noen personer ble bedre i den ene gruppen og ikke i den andre. Hvis sammenlikningen ble gjentatt i andre små pasientgrupper, kunne tilfeldigheter ført til at antallet som døde i hver gruppe ble reversert (6 og 4), eller var likt (5 og 5), eller også kunne forholdstallet vært et annet.

Hva ville du forventet å finne dersom nøyaktig samme pasientandel døde i hver behandlingsgruppe (40 % og 60 %) etter at 100 pasienter hadde fått hver av de to behandlingene (tabell 2)? Selv om målet for forskjellen (risikoforholdet) er akkurat det samme (0,67) som i tabell 1, er 40 dødsfall sammenliknet med 60 en mer overbevisende forskjell enn 4 sammenliknet med 6, og det er mindre sannsynlig at den gjenspeiler en ren tilfeldighet.

 

Tabell 2. Gir denne middels store studien et pålitelig estimat (anslag) over forskjellen mellom behandling A og behandling B?
Behandling A Behandling B Risikoforhold (A:B =)
Antall som døde 40 60 (40:60 =) 0.67
Av (totalt) 100 100

 

For å unngå å bli lurt av tilfeldige feil er altså trikset å basere konklusjonene på et stort nok antall pasienter som dør, blir dårligere eller bedre, eller har en uforandret tilstand. Noen ganger kalles dette for “loven om store tall”.

  • S4BE

    The following review of this resource is written by Gareth Grant, a 3rd year medical student. You can view the comment on the Students 4 Best Evidence website here: http://www.students4bestevidence.net/taking-account-play-chance-testing-treatments/

    Roughly how long did it take you to read/complete?
    3 minutes

    What did you think of the resource? (e.g. was it clear or difficult to understand?)
    It was clear and easy to use as there is audio but also text and tables to follow along.

    Do you feel it improved your understanding?
    Yes, it’s short and concise but addresses the point and summarises the topic without wordy explanations. It features good examples, without getting too technical with numbers.

    What problems did you find with it (if any) / how do you think it could be improved?
    I did have to refresh the page to access the second recording but that may have just been me – related to cookies I think. I think the source itself was good and doesn’t need improvement.

    Overall, what would you score the resource out of 5? (and why?)
    5 – it clearly summarises the role of chance and was easy to understand. Also, it’s good if (like me) you prefer audio/video sources to reading.