FFG Projektdatenbank

zurück

SEA-OD

Exploiting Temporal Information for Object Detection in Maritime Scenarios

Projektbeschreibung

Die Hauptursache für Unfälle in der Sportschifffahrt sind Zusammenstöße mit anderen Sportbooten, gefolgt von Zusammenstößen mit festen Gegenständen. Die beiden Hauptfaktoren, die zu Unfällen führen, sind Unaufmerksamkeit des Fahrers und unzureichende Beobachtung der Umgebung. Auch in der Berufsschifffahrt sind 82,3 % aller Unfälle auf menschliches Versagen zurückzuführen. Viele dieser Unfälle könnten durch eine Verbesserung des Situationsbewusstseins und der Automatisierung verhindert werden, was zu einer geringeren Unaufmerksamkeit der Schiffsführer führt und menschliche Fehler kompensiert. Letztendlich wird so ein höheres Maß an Sicherheit erreicht. SEA.AI entwickelt solche Sicherheitslösungen. Dazu werden bildgebende Sensoren im sichtbaren und mittlerem Infrarotspektrum eingesetzt, um die Umgebung von Schiffen zu beobachten. Mittels KI werden darin Objekte detektiert und klassifiziert, was dazu führt, dass die Schiffsbetreiber bei potenziellen Gefahrensituationen gewarnt werden.

Aufgrund der Netzwerkbandbreiten und Energiebeschränkungen auf Schiffen und Booten müssen maritime Objekterkennungsnetze schnell genug sein, um direkt auf dem Schiff eingesetzt werden zu können. Um die Systeme vertrauenswürdig zu machen, muss eine hohe Erkennungsrate auch für winzige Objekte wie Bojen und Treibholz erreicht werden, wobei letztere insbesondere für Hochgeschwindigkeitsschiffe gefährlich sind. Derzeitige Objekterkennungssysteme übersehen diese winzigen Objekte jedoch häufig, da sie weitgehend unter Wasser liegen können und Wellen zu einer teilweisen Verdeckung führen können. Menschen beobachten das Wasser im Laufe der Zeit und nutzen den zeitlichen Kontext früherer Momente, um Objekte in der Gegenwart wiederzuentdecken und so die Mehrdeutigkeit beim Erkennen kleiner Hindernisse zu verringern. Dies steht im Gegensatz zu aktuellen Objekterkennungsnetzwerken, die jedes aufgenommene Bild isoliert von den anderen verarbeiten und dabei nützliche Kontextinformationen vernachlässigen und sogar redundante Berechnungen durchführen.

Die Aufgabe, die zeitliche Dimension in ein Objekterkennungsnetz zu integrieren, wird als Video Object Detection (VID) bezeichnet. Die derzeitigen VID-Netzwerke sind jedoch nicht speziell für winzige Objekte geeignet, da sie mit anderen Zielen, als denen dieses Projekts entwickelt wurden. Das Ziel dieser Arbeit ist es, diese Beschränkungen und Einschränkungen durch die Entwicklung eines maritimen Objekterkennungsnetzwerks zu überwinden, das die zeitliche Dimension ausnutzt, um winzige Objekte besser zu erkennen, und gleichzeitig sicherstellt, dass das Netzwerk auf Edge-Geräten einsatzfähig bleibt.

Abstract

The primary source of accidents in recreational boating are collisions with other recreational vessels, followed by collisions with fixed objects. The two main factors leading to the accidents are operator inattention and improper lookout. Moreover, in the domain of commercial shipping 82.3 % of all accidents involve human error. Many of those accidents could be prevented by enhancing situational awareness and automation, resulting in a reduced inattention of vessel operators and compensating for human errors. Ultimately, a higher degree of safety will be achieved. SEA.AI is developing such safety solutions. For this, imaging sensors in the visible and mid-infrared spectral range are used to observe the surroundings of ships. AI is used to detect and classify objects in those camera streams, resulting in alerting operators of the vessel in case of potentially hazardous situations.

Due to network bandwidth and energy limitations on ships and boats, maritime object detection networks must be fast enough for edge deployment. Further, to make the systems trustworthy, it is crucial to achieve a high detection rate also for tiny objects, such as buoys and driftwood, where the latter ones are dangerous particularly for high-speed vessels. However, current object detections systems often miss these tiny objects, as they can be largely submerged in the water and waves can lead to partial occlusions. Humans observe the water over time, using temporal context from previous moments to rediscover objects in the present moment, and with that, reduce ambiguity in spotting small obstacles. This contrasts with current object detection networks, which process each recorded frame in isolation from the others, and thereby neglect useful contextual information and even perform redundant computations.

The task of integrating the temporal dimension in an object detection network is known as Video Object Detection (VID). However, current VID networks are not designed to be specifically suitable for tiny objects, as they are developed with different goals than those of this project. The aim of the thesis is to address these limitations and constraints by developing a marine object detection network that exploits the temporal domain to better detect tiny objects, while ensuring that the network remains deployable on edge devices.

zurück