Computermodellen om de sterftecijfers van Covid-19 te voorspellen bevatten aanzienlijke onzekerheden in de voorspellingen, zo blijkt uit een internationale studie onder leiding van onderzoekers van UCL in Londen en het CWI. Hun artikel ‘The Impact of Uncertainty on Predictions of the CovidSim Epidemiological Code’, dat eerder werd aangekondigd in een nieuwsbericht in Nature, werd op maandagavond 22 februari gepubliceerd in Nature Computational Science.
Waar het bij fysieke experimenten gebruikelijk is om bij de gemeten waarden foutbalken te laten zien, ontbreekt bij de voorspellingen van computermodellen vaak een mate van onzekerheid. Dit ondanks het feit dat zulke modellen onmiskenbaar onzeker zijn, en gebruikt worden bij besluitvorming op hoog niveau. Het onderzoeksteam stelt dat berekende voorspellingen zonder foutbalken een zeer onvolledig beeld kunnen schetsen. Dit hebben zij aangetoond in een recente studie met een computermodel dat wordt gebruikt voor het evalueren van COVID-19-interventiescenario's.
Deze studie werd uitgevoerd in het kader van het VECMA-project, een EU Horizon 2020 onderzoeks- en innovatieprogramma. Bij het CWI waren onderzoekers Wouter Edeling en Daan Crommelin van de Scientific Computing groep betrokken. Edeling, eerste auteur van het artikel en specialist in het kwantificeren van modelonzekerheden, maakte een deel van de software voor de VECMA toolkit. Dit werd gebruikt om een onzekerheidskwantificatietechniek (UQ) te koppelen aan het bekende epidemiologische ‘CovidSim’ -model van Neil Ferguson van Imperial College in het VK, en aan gegevens uit het VK uit 2020.
'De vloek van de dimensionaliteit'
Edeling legt uit: “Voor modellen met een groot aantal parameters zoals CovidSim, is het erg moeilijk om te bestuderen welk effect onzekerheden in de inputparameters hebben op onzekerheden in de output. Het hebben van veel parameters betekent dat de rekenkosten buitensporig hoog zullen zijn - vaak aangeduid als de ‘vloek van dimensionaliteit’. We onderzoeken hoe we de berekeningen zo efficiënt mogelijk kunnen uitvoeren, door uit te zoeken welke parameters het belangrijkst zijn voor de onzekerheden in de output. Door te focussen op deze parameters wordt het mogelijk om goede kansvoorspellingen te doen, die door overheden kunnen worden gebruikt bij hun beslissingen. "
De nieuwe methoden zijn erg effectief. Bij het testen van de robuustheid van CovidSim ontdekte het onderzoeksteam dat, hoewel de code 940 parameters bevatte, er 60 belangrijk waren, en dat er daarvan slechts 19 de variantie in de outputvoorspellingen domineerden. De helft van de totale variatie in hun resultaten was terug te voeren op slechts drie van de 940 invoerparameters: de latentietijd van de ziekte (de tijd tussen besmetting en besmettelijkheid), de tijd die een geïnfecteerde nodig heeft om zichzelf te isoleren, en de doeltreffendheid van social distancing. Terwijl de latentietijd een biologische parameter is, houden de andere twee (en nogal wat andere parameters die invloedrijk waren) verband met de interventiescenario's en het menselijk gedrag. Hoewel ze een moeilijke modelleringstaak vertegenwoordigen, kunnen deze parameters (en de verschijnselen die ze modelleren), in tegenstelling tot de biologische aspecten, worden beïnvloed door het overheidsbeleid.
CWI-onderzoek naar onzekerheidskwantificering
Daan Crommelin, groepsleider van CWI's Scientific Computing-groep en hoogleraar aan de UvA, zegt: "Het is belangrijk om de onzekerheden van computersimulaties en modelvoorspellingen te kennen. Niet alleen voor simulaties van de pandemie maar ook bijvoorbeeld in milieustudies, weer- en klimaatmodellering, of economie. Het kan verleidelijk zijn om je te richten op één voorspelling of één simulatie-uitkomst, maar het kan juist ook heel relevant zijn om te zien hoe breed het scala aan mogelijke uitkomsten is".
Partners
Het onderzoek is uitgevoerd door onderzoekers verbonden aan het CWI, University College London (UCL), de Universiteit van Amsterdam, Brunel University London en het Poznan Supercomputing and Networking Centre in Polen. Het werk werd gefinancierd als onderdeel van het EU Horizon 2020 onderzoeks- en innovatieprogramma (VECMA-project # 800925, www.vecma.eu)
Het VECMA Consortium in 2019 in Amsterdam. Foto: VECMA.
Meer informatie
- Het artikel in Nature Computational Science: ‘The Impact of Uncertainty on Predictions of the CovidSim Epidemiological Code’ (https://dx.doi.org/10.1038/s43588-021-00028-9)
- The VECMA website
- Nieuwsbericht dat dit nieuws vooraankondigde in Nature, 13 November 2020: Simulating the pandemic: What COVID forecasters can learn from climate models
- Blog van de Science Museum Group over dit onderzoek
- de CWI Scientific Computing onderzoeksgroep
- Eerder nieuwsbericht van UCL London
- Artikel van Wouter Edeling en Daan Crommelin in ERCIM News 124: 'The Case for Uncertainty in COVID19 Predictions'
- Contactgegevens Wouter Edeling
Over CWI
Het Centrum Wiskunde & Informatica (CWI) is sinds 1946 het nationale onderzoeksinstituut voor wiskunde en informatica. Het is gevestigd op het Amsterdam Science Park en is deel van de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO). Het instituut heeft een sterke internationale positie. Ruim 150 wetenschappers doen er grensverleggend onderzoek en dragen de verkregen kennis over aan de maatschappij. Meer dan 30 van de onderzoekers zijn hoogleraar aan een universiteit. Het instituut heeft 27 spin-off bedrijven voortgebracht.
