Senior onderzoeker Sander Bohté begon al in 1998 met neuromorfe computing te werken als promovendus, toen het onderwerp nauwelijks op de kaart stond. De afgelopen jaren hebben Bohté en zijn CWI-collega's een aantal algoritmische doorbraken gerealiseerd in pulserende neurale netwerken (SNNs). Daardoor wordt neuromorfe computing eindelijk praktisch: in theorie kunnen veel AI-toepassingen een factor van honderd tot duizend energiezuiniger worden. Dit betekent dat het mogelijk zal zijn om veel meer AI in chips te plaatsen, zodat toepassingen kunnen draaien op een smartwatch of smartphone. Voorbeelden zijn spraakherkenning, gebarenherkenning en de classificatie van elektrocardiogrammen (ECG).
"Ik ben echt dankbaar dat het CWI, en voormalig groepsleider Han La Poutré in het bijzonder, me de kans gaf om mijn interesse te volgen, ook al waren neurale netwerken en neuromorfe computing aan het eind van de jaren 90 niet erg populair", zegt Bohté. "Het was risicovol werk voor de lange termijn dat nu vruchten afwerpt."
Hoge energie-efficiëntie
Pulserende neurale netwerken (SNNs) lijken meer op de biologie van de hersenen. Ze verwerken pulsen in plaats van de continue signalen in klassieke neurale netwerken. Helaas zijn ze daardoor wiskundig veel moeilijker te hanteren. Jarenlang waren SNNs daarom zeer beperkt in het aantal neuronen dat ze konden verwerken. Maar dankzij slimme algoritmische oplossingen zijn Bohté en zijn collega's erin geslaagd het aantal trainbare pulserende neuronen op te schalen naar duizenden in 2021 en vervolgens naar tientallen miljoenen in 2023.
Om een hoge energie-efficiëntie te bereiken, hebben SNNs speciale, zogenaamde neuromorfe chips nodig om op te draaien. Bohté: "Op basis van onze algoritmes heeft onze Belgische onderzoekspartner IMEC een speciale neuromorfe chip gemaakt, genaamd μBrain” (μ staat voor de Griekse letter mu, wat ‘micro’ betekent). "Wanneer ons algoritme op deze speciale chip wordt uitgevoerd, daalt het energieverbruik met een factor twintig. Dat is minder dan de theoretische winst, maar nog steeds zeer significant. Voor het detecteren van hartafwijkingen betekent dit dat je een ECG-opnamechip kunt implanteren die een jaar lang op een enkele batterij werkt."
Twee belangrijke uitdagingen
Dankzij tientallen jaren baanbrekend werk en de nationale rol van het CWI is er in Nederland de afgelopen jaren een gemeenschap van SNN-onderzoekers ontstaan. "We kunnen nu onze jaarlijkse Neuromorphic Computing Netherlands workshop organiseren met vijftig tot honderd onderzoekers", zegt Bohté.
Voor de komende vijf tot tien jaar ziet de onderzoeker twee belangrijke uitdagingen in zijn onderzoek. "De eerste is om SNNs met een factor tien tot honderd op te schalen, zodat we ook de kleinere versies van Large Language Models kunnen aanpakken, zoals ChatGPT. Daarvoor hebben we nieuwe ideeën nodig."
De tweede uitdaging is om neuromorfe chips continu te laten leren op basis van nieuwe gegevens die de chip ontvangt. "Dat is een onopgelost probleem, niet alleen voor SNNs maar voor AI in het algemeen", vertelt Bohté. "Ook hier hopen we nieuwe inspiratie te putten uit de biologie."
