CWI-onderzoekers Bojian Yin en Sander Bohté hebben samen met hun collega Federico Corradi van Stichting Interuniversitair Micro-Elektronica Centrum (IMEC) in Eindhoven een wiskundige doorbraak bereikt in het rekenen met zogeheten gepulste neurale netwerken (spiking neural networks).
Dankzij deze doorbraak kunnen speciale chips die geschikt zijn voor deze kunstmatige intelligentie (AI) spraak, gebaren en elektrocardiogrammen (ECG’s) een factor twintig tot duizend energiezuiniger herkennen dan traditionele AI-technieken. Zulke chips staan op de rand van praktische, alledaagse toepassingen.
De resultaten van het onderzoek zijn gepubliceerd in het wetenschappelijke tijdschrift Nature Machine Intelligence op 14 Oktober 2021.
IMEC’s μBrain-chip (Credit: IMEC)
Energiebesparing
In het afgelopen decennium heeft AI steeds meer alledaagse toepassingen gekregen, onder andere voor het herkennen van beeld en gesproken woord. Dat gebeurt met diepe neurale netwerken, die een sterk vereenvoudigde nabootsing zijn van de manier waarop het menselijk brein informatie verwerkt. Voor mobiele toepassingen kost het uitvoeren van huidige AI-modellen echter vaak te veel energie. Het ontwikkelen van energiezuinige AI is daarom steeds belangrijker geworden.
Een van de manieren om AI-toepassingen energiezuiniger te maken, is om de neurale netwerken beter te laten lijken op die van het menselijk brein. Klassieke neurale netwerken gebruiken signalen die continu zijn en wiskundig makkelijk hanteerbaar. Gepulste neurale netwerken rekenen met pulsjes, wat veel meer lijkt op wat er in het brein gebeurt en minder energie kost, maar wat als nadeel heeft dat de signalen discontinu zijn en wiskundig moeilijker hanteerbaar. Voor dat probleem hebben Bohté en zijn twee mede-auteurs echter een wiskundige oplossing gevonden.
“Wij hebben ons computeralgoritme getest op drie benchmarks”, vertelt Bohté. “Deze benchmarks bestaan uit testverzamelingen van een stuk of tien gebaren, een reeks van woorden en een continu ECG-signaal. Ons algoritme presteert minstens even goed, maar veel energiezuiniger dan traditionele diepe neurale netwerken. In theorie winnen we een factor honderd tot duizend.”
Breincomputer
Om algoritmen zoals die van Bohté te gebruiken in alledaagse toepassingen, zijn speciale, neuromorfe computerchips nodig. De architectuur van deze chips lijkt meer op de biologische architectuur van het menselijk brein dan die van traditionele computerchips. Bohté: “Onze onderzoekspartner IMEC heeft op basis van onze algoritmen een speciale neuromorfe chip gemaakt met 336 gepulste neuronen: de μBrain-chip. Wanneer we ons algoritme door deze speciale chip laten uitvoeren, winnen we een factor twintig aan energieverbruik. Ten opzichte van de theoretische energiewinst ligt de energiewinst in de praktijk altijd lager door het converteren van digitale naar analoge signalen en omgekeerd, en door het inlezen van data. Maar een factor twintig aan energiewinst is nog steeds veel. Voor het detecteren van hartafwijkingen betekent dit dat je een ECG-registrerende chip kunt implanteren en dat die een jaar lang op een enkele batterij blijft werken.”
De komende jaren zullen neuromorfe chips steeds meer gepulste neuronen gaan bevatten, wat de toepassingsmogelijkheden van kunstmatige intelligentie in draagbare chips steeds verder zal uitbreiden. Zo heeft de Amerikaanse chipfabrikant Intel eind september de neuromorfe chip Loihi 2 gemaakt, die al een miljoen gepulste neuronen bevat.
Het onderzoeksproject van Bohté en zijn collega’s vindt plaats binnen het NWO Perspectief-programma ‘Efficient Deep Learning’.
Meer informatie
- Naast zijn aanstelling aan het CWI, is Sander Bohté ook als hoogleraar verbonden aan de Universiteit van Amsterdam (UvA) en de Rijksuniversiteit Groningen (RUG).
- Publicatie: ‘Accurate and efficient time-domain classification with adaptive spiking recurrent neural networks’, Bojian Yin, Federico Corradi en Sander Bohté. Nature Machine Intelligence. 14 oktober 2021
