Studie presenteert grote hersenachtige neurale netwerken voor AI

In Nature Machine Intelligence laten CWI-onderzoekers Bojian Yin en Sander Bohté zien hoe hersenachtige neuronen in combinatie met nieuwe leermethoden het mogelijk maken om snelle en energie-efficiënte spiking neurale netwerken op grote schaal te trainen.

Publicatiedatum
4 mei 2023

Er is een belangrijke stap gezet naar kunstmatige intelligentie (AI) die kan worden gebruikt in lokale apparaten zoals smartphones en in VR-achtige toepassingen, terwijl de privacy wordt beschermd. CWI-onderzoekers Bojian Yin en Sander Bohté hebben laten zien hoe hersenachtige neuronen in combinatie met nieuwe leermethoden het mogelijk maken om snelle en energie-efficiënte spiking neurale netwerken op grote schaal te trainen. De resultaten van hun studie verschijnen vandaag in Nature Machine Intelligence*. Dit opent de deur naar potentiële toepassingen variërend van draagbare AI tot alomtegenwoordige spraakherkenning en Augmented Reality.

Van spraakherkenning tot drone-navigatie

Kunstmatige neurale netwerken vormen de ruggengraat van de huidige AI-revolutie. Ze zijn echter slechts losjes geïnspireerd op netwerken van échte biologische neuronen, zoals onze hersenen. Ons brein is een veel groter netwerk en het kan ultrasnel reageren wanneer het wordt geactiveerd door externe gebeurtenissen. Bovendien zijn de hersenen veel energiezuiniger: de neuronen van ons zenuwstelsel communiceren door elektrische pulsen uit te wisselen, en ze doen dit zeer spaarzaam. Spiking neurale netwerken zijn een speciaal type kunstmatige neurale netwerken die deze eigenschappen van biologische neuronen nauwkeuriger nabootsen.

spraaktechnologie op smartphone

Als het lukt om spiking neurale netwerken in een chip te integreren (neuromorfe hardware genoemd), kun je AI-programma's dichter bij de gebruikers brengen op hun eigen apparaten, zoals smartphones. Deze lokale oplossingen zijn gunstig voor de privacy, de robuustheid en het reactievermogen van deze programma’s. Toepassingen variëren van spraakherkenning in speelgoed en apparaten, bewaking van de gezondheidszorg en drone-navigatie tot lokale surveillance.

Net als ‘gewone’ kunstmatige neurale netwerken moeten spiking neurale netwerken worden getraind om hun taken goed uit te voeren. De manier waarop dergelijke netwerken communiceren, vormt echter een serieuze uitdaging. "De algoritmen die hiervoor nodig zijn, vergen veel computergeheugen, waardoor we meestal alleen kleine netwerkmodellen kunnen trainen voor kleinere taken. Dit houdt tot nu toe veel praktische AI-toepassingen tegen", zegt Sander Bohté van CWI's Machine Learning-groep.

Het lerende brein nabootsen

De leeralgoritmen kunnen het leervermogen van ons brein niet evenaren. Zo leren de hersenen onmiddellijk van nieuwe ervaringen – door verbindingen te veranderen of zelfs door nieuwe verbindingen aan te maken. Ze hebben hiervoor veel minder voorbeelden nodig en werken energie-efficiënter. "We wilden iets ontwikkelen dat dichter ligt bij de manier waarop onze hersenen leren", zegt Bojian Yin.

Yin legt uit hoe dit werkt: als je tijdens een rijles een fout maakt, leer je daar meteen van. Je corrigeert je gedrag terwijl je aan het rijden bent, en niet een uur later. "Je leert als het ware terwijl je de nieuwe informatie in je opneemt. Wij wilden dat nabootsen door elke neuron van het neurale netwerk een stukje informatie te geven dat voortdurend wordt bijgewerkt. Op die manier leert het netwerk hoe de informatie verandert, en hoeft het niet alle eerdere informatie te onthouden. Dit is het grote verschil met de huidige netwerken, die met alle voorgaande veranderingen moeten werken. De huidige manier van leren vergt enorme rekenkracht, en dus veel geheugen en energie."

Zes miljoen neuronen

Het nieuwe leeralgoritme maakt het mogelijk om direct van de data te leren, waardoor veel grotere spiking neurale netwerken mogelijk worden. Samen met onderzoekers van de TU Eindhoven en onderzoekspartner Holst Centre demonstreerden Bohté en Yin dit in een systeem dat is ontworpen voor het herkennen en lokaliseren van objecten. Voor hun studie gebruikten ze real time beelden van een drukke straat in Amsterdam: het onderliggende spiking neurale netwerk, SPYv4, is zodanig getraind dat het fietsers, voetgangers en auto's kan onderscheiden en precies kan aangeven waar ze zich bevinden.

"Voorheen konden we neurale netwerken trainen met maximaal 10.000 neuronen, met het huidige algoritme kan dat vrij eenvoudig bij netwerken met meer dan zes miljoen neuronen", zegt Bohté. "Daardoor kunnen we geavanceerde spiking neurale netwerken trainen, zoals onze SPYv4."

Toekomst

En waartoe leidt dit alles? Nu we zulke krachtige AI-oplossingen hebben op basis van spiking neurale netwerken, worden er chips ontwikkeld die deze AI-programma's kunnen draaien en daarbij zeer weinig energie verbruiken. Uiteindelijk zullen ze opduiken in tal van slimme apparaten, zoals gehoorapparaten en augmented of virtual reality-brillen.

*Nature Machine Intelligence: 'Accurate online training of dynamical spiking neural networks through Forward Propagation Through Time'. Auteurs: Bojian Yin, Sander Bohté, Federico Corradi (TU Eindhoven, Stichting IMEC). Gefinancierd door NWO Perspectief programma ‘Efficient Deep Learning’ en het EU-project Human Brain SGA3.

Foto's: Shutterstock