Neuromorpher Vision-Chip ermöglicht Autos und Robotern sofortiges Sehen

Informatik

Redaktion der Website für technologische Innovationen - 15.05.2025

Prototyp des neuromorphen künstlichen Sehchips, der alles alleine und in Echtzeit erledigt. [Bild: Will Wright/RMIT]

Neuromorphes künstliches Sehen

Australische Ingenieure haben einen kleinen neuromorphen Chip entwickelt, der Bewegungen erkennt, Erinnerungen speichert und Informationen auf ähnliche Weise wie das menschliche Gehirn verarbeitet, ohne dass ein externer Computer erforderlich ist.

Diese autonome Betriebsfähigkeit eines Bildverarbeitungschips ist ein wichtiger Schritt hin zur sofortigen Bildverarbeitung an Bord, wie sie beispielsweise in autonomen Fahrzeugen, der Robotik und anderen Anwendungen mit menschlicher Interaktion mit automatisierten Geräten erforderlich ist.

„ Neuromorphe Sehsysteme sind so konzipiert, dass sie analoge Verarbeitungsprozesse ähnlich denen unseres Gehirns nutzen. Dadurch kann der Energiebedarf für komplexe Sehaufgaben im Vergleich zu den heute verwendeten digitalen Technologien deutlich reduziert werden“, sagte Sumeet Walia von der RMIT University.

Die Grundlage für die Entwicklung dieses innovativen Chips ist ein Star der Elektronik der neuen Generation, eine metallische Verbindung namens Molybdändisulfid (MoS ₂ ) – oder, umgangssprachlicher, Molybdänit .

Der jetzt vorgestellte Prototyp ist eine Optimierung eines neuromorphen Chips, der die Netzhaut und das Gehirn gemeinsam nachahmt und an dem das Team seit etwa drei Jahren arbeitet.

„Wir haben gezeigt, dass atomar dünnes Molybdändisulfid das Verhalten des Integrate-and-Fire-Neurons, eines grundlegenden Bausteins neuronaler Netzwerke mit aktiven Spikes, genau nachbilden kann“, sagte der Forscher Thiha Aung.

Schematische Darstellung des künstlichen Neurons auf Molybdänbasis und des Systems zur Bilderfassung, -verarbeitung und -speicherung. [Bild: Thiha Aung et al. - 10.1002/admt.202401677]

Echtzeitansicht

Bei ihrem jüngsten Durchbruch entdeckte das Team, wie atomare Defekte in Molybdänit ausgenutzt werden können, um Licht einzufangen und als elektrische Signale zu verarbeiten, ähnlich wie Neuronen in unserem Gehirn funktionieren.

„Dieses Proof-of-Concept-Gerät ahmt die Fähigkeit des menschlichen Auges nach, Licht aufzunehmen, und die Fähigkeit des Gehirns, diese visuellen Informationen zu verarbeiten. Dadurch kann es Veränderungen in der Umgebung sofort erkennen und Erinnerungen erstellen, ohne dass große Datenmengen und Energie benötigt werden“, sagte Walia.

Und dies ist den aktuellen digitalen Systemen weit überlegen, die viel Energie verbrauchen und separate Speichersysteme verwenden müssen, was zu Verzögerungen führt, die es schwierig machen, echte Entscheidungen in Echtzeit zu treffen, was in Hochgeschwindigkeitssituationen, wie etwa bei autonomen Fahrzeugen oder Industrierobotern, unerlässlich ist.

Bei dieser ersten Demonstration erkannte der winzige Chip Änderungen in der Bewegung einer winkenden Hand, ohne die Ereignisse Bild für Bild erfassen zu müssen. Dies wird als Kantenerkennung bezeichnet und erfordert erheblich weniger Datenverarbeitung und Strom. Sobald Änderungen am Objekt – in diesem Fall einer Hand – erkannt werden, speichert das Gerät diese Ereignisse als Erinnerungen und ahmt so das Gehirn nach.

Und die Demonstrationen wurden im für das menschliche Auge sichtbaren Spektrum durchgeführt und übertrafen damit frühere neuromorphe Demonstrationen im ultravioletten Bereich. Während es bei der vorherigen UV-Version lediglich um die Erkennung, Speicherung und Verarbeitung von Standbildern ging, können die Speicher jetzt zurückgesetzt werden, sodass der Chip für die nächste Aufnahmeaufgabe bereit ist.

Durch die Nachahmung des menschlichen Gehirns arbeitet der Chip im analogen statt im digitalen Modus, was große Vorteile bietet. [Bild: Thiha Aung et al. - 10.1002/admt.202401677]

Jahre voraus

Dies ist ein wichtiger Schritt vorwärts in der neuromorphen maschinellen Bildverarbeitung, aber von einem wirklich funktionsfähigen Chip sind wir noch weit entfernt: Der Proof of Concept muss auf eine Anzahl von Pixeln hochskaliert werden, die eine signifikante Auflösung erreichen kann, und die industriellen Herstellungsprozesse müssen noch verbessert werden, um den Chip zu replizieren, den das Team im Labor entwickelt hat.

„Neuromorphes Sehen in Anwendungen wie selbstfahrenden Fahrzeugen und hochentwickelten Robotersystemen, dessen praktische Anwendung noch viele Jahre auf sich warten lässt, könnte Veränderungen in einer Szene nahezu augenblicklich erkennen, ohne dass große Datenmengen verarbeitet werden müssten. Dies würde eine viel schnellere Reaktion ermöglichen, die Leben retten könnte“, sagte Walia.

„Für Roboter, die in der Industrie oder als persönliche Assistenten eng mit Menschen zusammenarbeiten, könnte die neuromorphe Technologie natürlichere Interaktionen ermöglichen, indem sie menschliches Verhalten mit minimaler Verzögerung erkennt und darauf reagiert“, sagte Teammitglied Professor Akram Al-Hourani.

Weitere Neuigkeiten zu:

Weitere Themen