Op hersenen geinspireerde AI game-changer voor autonome robots

Een team van onderzoekers van de TU Delft heeft een drone ontwikkeld die autonoom kan vliegen met behulp van neuromorfe beeldbewerking en besturing die zijn gebaseerd op de werking van dierenhersenen. Dierenhersenen gebruiken minder energie dan de huidige diepe neurale netwerken die op GPU’s (grafische chips) draaien. Neuromorfe processoren zijn daarom zeer geschikt voor kleine drones omdat er geen zware en grote hardware en batterijen voor nodig zijn. De resultaten zijn veelbelovend: tijdens de vlucht verwerkt het diepe neurale netwerk van de drone op neuromorfe technologie data tot 64 keer sneller en verbruikt het drie keer minder energie dan bij gebruik van een GPU. Verdere ontwikkelingen van deze technologie kunnen de sprong mogelijk maken voor drones om net zo klein, wendbaar en slim te worden als vliegende insecten of vogels. De bevindingen zijn onlangs gepubliceerd in Science Robotics.

Foto van de "neuromorfe drone" vliegend over een bloemenpatroon. In de hoeken van de foto wordt geïllustreerd wat de drone ziet met de neuromorfe camera. Rood geeft aan dat pixels donkerder worden, groen dat pixels helderder worden.

Leren van dierenhersenen: “spikende” neurale netwerken

Kunstmatige intelligentie heeft een groot potentieel om autonome robots te voorzien van de intelligentie die nodig is voor praktische toepassingen. De huidige AI is echter afhankelijk van diepe neurale netwerken waarvoor aanzienlijke rekenkracht nodig is. De processoren die gemaakt zijn voor het draaien van diepe neurale netwerken (Graphics Processing Units, GPU's) verbruiken een aanzienlijke hoeveelheid energie. Vooral voor kleine robots zoals vliegende drones is dit een probleem, omdat zij maar weinig sensoren en rekenkracht kunnen dragen.

Dierenhersenen verwerken informatie op een manier die heel anders is dan de neurale netwerken die op GPU's draaien. Biologische neuronen verwerken informatie asynchroon en communiceren voornamelijk via elektrische pulsen, die in het Engels “spikes” worden genoemd. Omdat het versturen van dergelijke spikes energie kost, minimaliseren de hersenen het spiken, wat leidt tot spaarzame verwerking.

Geïnspireerd door deze eigenschappen van dierenhersenen, ontwikkelen wetenschappers en technologiebedrijven nieuwe, neuromorfe processoren. Deze nieuwe processoren maken het mogelijk om spikende neurale netwerken te draaien die naar verwachting veel sneller en energie-efficiënter zijn.

"De berekeningen uitgevoerd door spikende neurale netwerken zijn veel eenvoudiger dan die in standaard diepe neurale netwerken.", zegt Jesse Hagenaars, promovendus en een van de auteurs van het artikel, "Terwijl digitale spikende neuronen alleen hele getallen hoeven op te tellen, moeten standaard neuronen kommagetallen vermenigvuldigen en optellen. Dit maakt spikende neurale netwerken sneller en energiezuiniger. Mensen vinden het immers ook veel makkelijker om 5 + 8 te berekenen dan om 6.25 x 3.45 + 4.05 x 3.45 te berekenen?"

Deze energie-efficiëntie wordt verder verhoogd als neuromorfe processoren worden gebruikt in combinatie met neuromorfe sensoren, zoals neuromorfe camera's. Dergelijke camera's maken geen beelden op een vast tijdsinterval. In plaats daarvan zendt elk pixel alleen een signaal uit wanneer het helderder of donkerder wordt. De voordelen van dergelijke camera's zijn dat ze beweging veel sneller kunnen waarnemen, energiezuiniger zijn en goed functioneren in zowel donkere als heldere omgevingen. Bovendien kunnen de signalen van neuromorfe camera's rechtstreeks worden gevoed aan spikende neurale netwerken die draaien op neuromorfe processoren. Samen kunnen deze technologieën de ontwikkeling van autonome robots, vooral kleine, wendbare robots zoals vliegende drones, mogelijk maken.

Eerste neuromorfe beeldbewerking (of: zicht?) en besturing van een vliegende drone

In een artikel gepubliceerd in Science Robotics op 15 mei 2024, demonstreren onderzoekers van de Technische Universiteit Delft, Nederland, voor het eerst een drone die gebruikmaakt van neuromorfe beeldbewerking en besturing voor autonome vlucht. Specifiek ontwikkelden ze een spikend neuraal netwerk dat de signalen van een neuromorfe camera verwerkt en die omzet tot stuurcommando’s voor de drone. Ze implementeerden dit netwerk op een neuromorfe processor, de “Loihi” neuromorfe onderzoekschip van Intel, aan boord van een drone. Dankzij het netwerk kan de drone zijn eigen beweging waarnemen en in alle richtingen besturen.

"We stonden voor veel uitdagingen," zegt Federico Paredes-Vallés, één van de onderzoekers die aan de studie werkte, "maar de moeilijkste was om te bedenken hoe we een snel en goed leerproces konden maken voor het spikende neurale netwerk. Uiteindelijk hebben we een netwerk ontworpen dat bestaat uit twee modules. De eerste module leert om beweging visueel waar te nemen vanuit de signalen van een bewegende neuromorfe camera. Dit doet het volledig zelfstandig, op een zelf-gestuurde manier, puur gebaseerd op de gegevens van de camera. Dit is vergelijkbaar met hoe ook dieren zelfstandig leren de wereld waar te nemen. De tweede module leert om de geschatte beweging te koppelen aan besturingscommando's, in een simulator. Dit vond plaats via een kunstmatige evolutie in simulatie, waarbij netwerken die beter waren in het besturen van de drone een hogere kans hadden om 'nakomelingen' te produceren.

Over de generaties van de kunstmatige evolutie, werden de spikende neurale netwerken steeds beter in besturing, en waren uiteindelijk in staat om een gesimuleerde drone in elke richting en met verschillende snelheden te vliegen. We hebben beide modules getraind en een manier ontwikkeld waarmee we ze samen konden voegen. We waren blij te zien dat het samengevoegde netwerk onmiddellijk goed werkte op de echte robot."

Met zijn neuromorfe beeldbewerking en besturing is de drone in staat om met verschillende snelheden te vliegen onder variërende lichtomstandigheden, van donker tot helder. Het kan zelfs vliegen met flikkerende lichten, waardoor de pixels in de neuromorfe camera grote aantallen signalen naar het netwerk sturen die niet gerelateerd zijn aan beweging – iets waar het netwerk niet op getraind is.

Verbeterde energie-efficiëntie en snelheid door neuromorfe AI

"Belangrijk is dat onze metingen het potentieel van neuromorfe AI bevestigen. Het netwerk draait gemiddeld tussen de 274 en 1600 keer per seconde. Als we hetzelfde netwerk op een kleine, ingebedde GPU draaien, draait het gemiddeld slechts 25 keer per seconde, een verschil van een factor ~10-64! Bovendien, als het netwerk draait, verbruikt Intel's Loihi neuromorfe onderzoekschip 1.007 watt, waarvan 1 watt het “rust”vermogen is dat de processor besteedt alleen al bij het aanzetten van de chip. Het draaien van het netwerk zelf kost slechts 7 milliwatt. Ter vergelijking, bij het draaien van hetzelfde netwerk, verbruikt de ingebedde GPU 3 watt, waarvan 1 watt rustvermogen en 2 watt wordt besteed aan het draaien van het netwerk. De neuromorfe aanpak resulteert in AI die sneller en efficiënter draait, waardoor het op veel kleinere autonome robots kan worden ingezet.", zegt Stein Stroobants, promovendus op het gebied van neuromorfe drones.

Eerste drone die vliegt met volledig op visie-naar-besturing gebaseerde neuromorfe AI.

Toekomstige toepassingen van neuromorfe AI voor kleine robots

"Neuromorfe AI zal alle autonome robots intelligenter maken," zegt Guido de Croon, hoogleraar bio-geïnspireerde drones, "maar het is een absolute game-changer voor kleine autonome robots. Aan de Faculteit Luchtvaart- en Ruimtevaarttechniek van de Technische Universiteit Delft werken we aan kleine autonome drones die gebruikt kunnen worden voor toepassingen variërend van het monitoren van gewassen in kassen tot het bijhouden van voorraden in magazijnen. De voordelen van kleine drones zijn dat ze zeer veilig zijn en kunnen navigeren in nauwe ruimtes zoals tussen rijen tomatenplanten. Bovendien kunnen ze zeer goedkoop zijn, zodat ze in zwermen kunnen worden ingezet. Dit is nuttig om snel een gebied te verkennen, zoals we nodig is voor het redden van mensen of snel lokaliseren van een gaslek."

"De huidige werkzaamheden zijn een grote stap in deze richting. Echter, de realisatie van deze toepassingen zal afhangen van verdere verkleining van de neuromorfe hardware en uitbreiding van de mogelijkheden naar complexere taken zoals navigatie."

Artikel:

“Fully neuromorphic vision and control for autonomous drone flight”, F. Paredes-Vallés, J. J. Hagenaars, J. Dupeyroux, S. Stroobants, Y. Xu, G. C. H. E. de Croon, Science Robotics, May 15, 2024.