Een veelbelovende troef in de strijd tegen corona is het vaccin tegen tuberculose: het BCG-vaccin. Dit vaccin geeft het afweersysteem een boost, waardoor het niet alleen beschermt tegen tuberculose, maar het lichaam ook weerbaarder maakt tegen andere infecties. Dit maakt de gevolgen van een coronabesmetting mogelijk minder ernstig.
Onomstotelijk bewijs is echter nog niet geleverd. Zo’n 15 onderzoeksgroepen wereldwijd hebben studies opgezet om de invloed van het BCG-vaccin op het ziekteverloop van corona te onderzoeken. Dat levert een gigantische berg gegevens op. Er is alleen één probleem: reguliere statistische methoden maken het heel lastig om deze onderzoeksresultaten tussentijds met elkaar te combineren. En dat terwijl het in deze tijd van essentieel belang is om zo snel mogelijk tot een conclusie te komen. Daarom gebruiken statistici Peter Grünwald en Judith ter Schure, werkzaam aan het Amsterdamse Centrum Wiskunde & Informatica (CWI), een compleet nieuw soort statistiek. Hiermee kunnen zij de gegevens van alle onderzoeken combineren en aan de bel trekken zodra er voldoende bewijs is voor de effectiviteit van het vaccin.
Toeval of niet?
In een medische studie vergelijk je meestal twee groepen met elkaar. In dit geval heeft één groep het BCG-vaccin toegediend gekregen en de andere groep, de controlegroep, een placebo. Vervolgens ga je kijken of je een verschil kunt ontdekken tussen deze twee groepen. Er komt echter altijd een toevalsfactor bij kijken. In de ene groep kunnen ook door puur toeval net iets minder mensen ziek worden. Wanneer vind je het verschil tussen de twee groepen groot genoeg om te zeggen: het vaccin doet iets? Om die vraag te beantwoorden heb je statistiek nodig.
Het nadeel van klassieke statistische methoden is dat je van te voren altijd precies moet vastleggen hoeveel patiënten je meeneemt in je onderzoek. ‘Je kunt niet eerder stoppen, of bijvoorbeeld langer doorgaan als het er veelbelovend uitziet’, zegt Grünwald. ‘Af en toe zal het door puur toeval lijken alsof een vaccin werkt. Als je alleen in die gevallen verder gaat met het onderzoek, of juist precies na een toevallige reeks goede resultaten stopt, dan lijkt het bewijs groter dan het eigenlijk is.’
Te weinig patiënten
Bij het combineren van meerdere studies vormt dit ook een groot probleem. Je wilt kunnen stoppen zodra je genoeg gegevens hebt verzameld om te zeggen: het werkt. Op dat moment kun je het vaccin gaan inzetten om de gevolgen van een coronabesmetting te beperken. Maar met klassieke statistiek zou je van te voren precies moeten bepalen hoeveel patiënten elke studie meeneemt en moeten wachten tot alle studies voltooid zijn.
En dat kan wel even duren. ‘Afgelopen zomer waren er heel weinig COVID-patiënten’, zegt Ter Schure. ‘Heel veel studies konden daardoor niet afgerond worden. Dan kun je de resultaten heel moeilijk samenvoegen. Onze methode, die we safe testing noemen, maakt dit wel mogelijk.’
Roulette
Met safe testing mag je wel midden in een studie stoppen of langer doorgaan. Dat maakt het ook mogelijk om de resultaten van alle onderzoeken met elkaar te combineren, zonder dat je van te voren de details van alle afzonderlijke studies weet. ‘Onze methode werkt eigenlijk hetzelfde als een weddenschap’, vertelt Grünwald. Uit elke studie komt een getalletje rollen dat aangeeft hoeveel bewijs er is dat het vaccin effect heeft: de E-waarde. ‘Die E-waarde kun je zien als virtueel geld. Je kunt er geld op inzetten dat de mensen die het echte vaccin kregen minder vaak ernstig ziek worden dan mensen in de placebogroep. Als je dan veel geld wint, dan doet het vaccin waarschijnlijk inderdaad iets (of je hebt ongelofelijk veel geluk gehad).’
Grünwald: ‘Je kunt het vergelijken met het inzetten in een casino. Stel dat je er achter probeert te komen of het roulettewiel eerlijk is of niet. Als het wiel eerlijk is, is de kans altijd heel klein dat je veel geld verdient, wanneer je ook stopt. Als je dus begint met 100 euro, en op een moment 10.000 euro in handen hebt, dan is het wiel waarschijnlijk niet eerlijk. Het maakt dan niet uit wanneer je stopt.’ In plaats van zelf een week lang in het casino te vertoeven, kun je ook verschillende mensen achter elkaar het roulettewiel laten testen. Dan heb je dezelfde situatie als het samenvoegen van meerdere studies.
‘Maar’, benadrukt Ter Schure, ‘Het is wel belangrijk dat je door blijft spelen met hetzelfde geld. De tweede tester gaat dus door met het bedrag waarmee de vorige is geëindigd. Zo voeg je de onderzoeken daadwerkelijk samen. Als je 150 mensen tegelijk met honderd euro aan de roulettetafel laat spelen is er altijd wel toevallig één iemand die veel geld wint. Dat hoeft niet te betekenen dat het casino niet eerlijk is.’
Dashboard
Een hoge E-waarde zegt hetzelfde als een hoog gewonnen bedrag in het casino: er is meer aan de hand dan je op grond van puur toeval zou verwachten. Het vaccin doet iets. Ter Schure houdt op een dashboard het verloop van de resultaten in de gaten. Passeert de gezamenlijke E-waarde een bepaalde drempel, dan is er voldoende bewijs dat het vaccin effect heeft.
Ter Schure: ‘Het meten van zo’n gezamenlijke E-waarde brengt een grote verantwoordelijkheid met zich mee. Wat doe je op het moment dat de E-waarde de drempel passeert? Ga je dan direct iedereen vaccineren? We gaan nu nog met alle deelnemende studies afspreken hoe we die beslissing willen maken. Het is belangrijk om dit vooraf vast te leggen, zodat iedereen vertrouwen heeft in de drempel en weet hoe er gehandeld wordt als het bewijs de drempel haalt. Gelukkig is de bijdrage van iedere studie aan het totaal heel inzichtelijk. Stel dat één onderzoek een gigantisch hoge E-waarde heeft vergeleken met alle andere onderzoeken, dan zie je dat meteen.’
Andere mindset
De coronacrisis is de vuurdoop voor de safe testing-methode. ‘Het is uniek dat er zoveel studies op exact hetzelfde moment lopen’, zegt Ter Schure. ‘Daarnaast heeft iedereen natuurlijk veel haast. Ik hoop ook eigenlijk dat dit kan zorgen voor een verandering van mindset in de wetenschap. Nu belanden veel onderzoeken die net niet overtuigend genoeg zijn in een la. Omdat onze combinatiemethode zo simpel is, wordt het veel makkelijker om samen te werken. Zo kan iedere studie bijdragen, hoe klein ook. Ik hoop dit de wetenschap wat minder ‘ieder voor zich’ zal maken.’
Tekst: Fenna van der Grient voor New Scientist/Het Parool
