Das Bild zeigt sowohl Farbinformationen von der Farbkamera als auch Detektionen (blaue und rote Punkte) von der Ereigniskamera, die von einer rennenden Fußgängerin erzeugt werden Bildrechte: Gruppe Robotik und Wahrnehmung, Universität Zürich

Wissen News KI: Neue Autokamera nach Vorbild des menschlichen Auges erkennt Fußgänger hundertmal schneller

30. Mai 2024, 15:31 Uhr

Künstliche Intelligenz und eine neuartige, vom menschlichen Auge inspirierte Kamera: Damit werden Verkehrsteilnehmer und Hindernisse hundertmal schneller erkannt als mit aktuellen Autokameras, sagen Schweizer Forscher.

Es ist der Albtraum eines jeden Autofahrers: Ein Fußgänger, der scheinbar aus dem Nichts vor das Auto tritt. Es bleibt nur der Bruchteil einer Sekunde, um zu bremsen oder auszuweichen und so das Schlimmste zu verhindern. Einige Autos verfügen heute über Kamerasysteme, die die Fahrenden warnen oder eine Notbremsung einleiten können. Aber diese Systeme sind noch nicht schnell und zuverlässig genug, um in autonomen Fahrzeugen eingesetzt zu werden.

Ereigniskameras nach dem Vorbild des menschlichen Auges

Forschende der Universität Zürich haben nun ein System entwickelt, das eine neuartige, biologisch inspirierte Kamera mit künstlicher Intelligenz kombiniert. Dieses kann Hindernisse in der Umgebung eines Autos viel schneller und mit weniger Rechenleistung erkennen als aktuelle Systeme. Die meisten aktuellen Kameras sind bildbasiert: Sie machen in regelmäßigen Abständen Schnappschüsse. Die Fahrerassistenz in Autos nimmt in der Regel 30 bis 50 Bilder pro Sekunde auf. Ein künstliches neuronales Netz kann darauf trainiert werden, Objekte auf diesen Bildern zu erkennen – etwa Fußgänger, Fahrräder und andere Fahrzeuge. "Wenn aber in den 20 oder 30 Millisekunden zwischen zwei Schnappschüssen etwas passiert, sieht es die Kamera womöglich zu spät. Die Lösung wäre, die Bildrate zu erhöhen. Aber das bedeutet mehr Daten, die in Echtzeit verarbeitet werden müssen, und somit mehr Rechenleistung", sagt der Studienautor Daniel Gehrig.

Ereigniskameras beruhen auf einem anderen Prinzip: Sie verfügen über intelligente Pixel, die jedes Mal Informationen aufzeichnen, wenn sie schnelle Bewegungen erkennen. "Auf diese Weise haben sie keinen blinden Fleck zwischen den einzelnen Bildern – sie können Hindernisse schneller erkennen. Man nennt sie auch neuromorphe Kameras, weil sie nachahmen, wie das menschliche Auge Bilder wahrnimmt", sagt Davide Scaramuzza, ein weiterer Studienautor.

Hybrides Kamerasystem unterschiedliche Kameras vereinen

Allerdings haben auch Ereigniskameras Schwächen: Sie können Dinge übersehen, die sich langsam bewegen. Mit einem Hybridsystem wollen Gehrig und Scaramuzza das Beste aus beiden Welten vereinen: Die Kombination umfasst eine Standardkamera, die 20 Bilder pro Sekunde aufnimmt. Die Bilder werden von einem KI-System verarbeitet, das darauf trainiert ist, Autos oder Fußgänger zu erkennen. Die Daten der Ereigniskamera sind mit einer anderen Art von KI-System gekoppelt, das sich besonders gut für die Analyse von 3D-Daten eignet, die sich im Laufe der Zeit verändern. Das System habe zwar noch Schwächen, sei aber eine Demonstration, dass deutliche Verbesserungen des bisherigen Standes möglich seien, so die Studienautoren.

Links/Studien

Die Studie "Low Latency Automotive Vision with Event Cameras" ist im Fachjournal "Nature" erschienen.

cdi/pm