Als het lukt om spiking neurale netwerken in een chip te integreren (neuromorfe hardware genoemd), kun je AI-programma's dichter bij de gebruikers brengen op hun eigen apparaten, zoals smartphones. Deze lokale oplossingen zijn gunstig voor de privacy, de robuustheid en het reactievermogen van deze programma’s. Toepassingen variëren van spraakherkenning in speelgoed en apparaten, bewaking van de gezondheidszorg en drone-navigatie tot lokale surveillance.
Net als ‘gewone’ kunstmatige neurale netwerken moeten spiking neurale netwerken worden getraind om hun taken goed uit te voeren. De manier waarop dergelijke netwerken communiceren, vormt echter een serieuze uitdaging. "De algoritmen die hiervoor nodig zijn, vergen veel computergeheugen, waardoor we meestal alleen kleine netwerkmodellen kunnen trainen voor kleinere taken. Dit houdt tot nu toe veel praktische AI-toepassingen tegen", zegt Sander Bohté van CWI's Machine Learning-groep.
Het lerende brein nabootsen
De leeralgoritmen kunnen het leervermogen van ons brein niet evenaren. Zo leren de hersenen onmiddellijk van nieuwe ervaringen – door verbindingen te veranderen of zelfs door nieuwe verbindingen aan te maken. Ze hebben hiervoor veel minder voorbeelden nodig en werken energie-efficiënter. "We wilden iets ontwikkelen dat dichter ligt bij de manier waarop onze hersenen leren", zegt Bojian Yin.
Yin legt uit hoe dit werkt: als je tijdens een rijles een fout maakt, leer je daar meteen van. Je corrigeert je gedrag terwijl je aan het rijden bent, en niet een uur later. "Je leert als het ware terwijl je de nieuwe informatie in je opneemt. Wij wilden dat nabootsen door elke neuron van het neurale netwerk een stukje informatie te geven dat voortdurend wordt bijgewerkt. Op die manier leert het netwerk hoe de informatie verandert, en hoeft het niet alle eerdere informatie te onthouden. Dit is het grote verschil met de huidige netwerken, die met alle voorgaande veranderingen moeten werken. De huidige manier van leren vergt enorme rekenkracht, en dus veel geheugen en energie."
Zes miljoen neuronen
Het nieuwe leeralgoritme maakt het mogelijk om direct van de data te leren, waardoor veel grotere spiking neurale netwerken mogelijk worden. Samen met onderzoekers van de TU Eindhoven en onderzoekspartner Holst Centre demonstreerden Bohté en Yin dit in een systeem dat is ontworpen voor het herkennen en lokaliseren van objecten. Voor hun studie gebruikten ze real time beelden van een drukke straat in Amsterdam: het onderliggende spiking neurale netwerk, SPYv4, is zodanig getraind dat het fietsers, voetgangers en auto's kan onderscheiden en precies kan aangeven waar ze zich bevinden.
"Voorheen konden we neurale netwerken trainen met maximaal 10.000 neuronen, met het huidige algoritme kan dat vrij eenvoudig bij netwerken met meer dan zes miljoen neuronen", zegt Bohté. "Daardoor kunnen we geavanceerde spiking neurale netwerken trainen, zoals onze SPYv4."
Toekomst
En waartoe leidt dit alles? Nu we zulke krachtige AI-oplossingen hebben op basis van spiking neurale netwerken, worden er chips ontwikkeld die deze AI-programma's kunnen draaien en daarbij zeer weinig energie verbruiken. Uiteindelijk zullen ze opduiken in tal van slimme apparaten, zoals gehoorapparaten en augmented of virtual reality-brillen.
*Nature Machine Intelligence: 'Accurate online training of dynamical spiking neural networks through Forward Propagation Through Time'. Auteurs: Bojian Yin, Sander Bohté, Federico Corradi (TU Eindhoven, Stichting IMEC). Gefinancierd door NWO Perspectief programma ‘Efficient Deep Learning’ en het EU-project Human Brain SGA3.
Foto's: Shutterstock
