FFG Projektdatenbank

zurück

THUMPER

Temporally-connected detection of Hidden, Underrepresented and Moving Populations for Estimation and Recognition

Projektbeschreibung

Die drohende Klimakatastrophe gefährdet die Integrität von Lebensräumen wie den Wäldern auf unserem Planeten. Intakte Ökosysteme stellen jedoch unsere Lebensgrundlage in einem komplexen Zusammenspiel unzähliger Arten dar. Wenn einzelne Arten aus diesen Wechselwirkungen verloren gehen oder sich ausbreiten, drohen die betroffenen Lebensräume aus dem Gleichgewicht zu geraten. Zentral für dieses Gleichgewicht ist die Erhaltung und Förderung der biologischen Vielfalt. Dies erfordert die Überwachung von Wildtierpopulationen.

Die derzeitigen Methoden (z.B. Kamerafallen) verwenden Stichproben für Populations- und Dichteabschätzungen. Solche Methoden sind jedoch für großflächige Gebiete ungeeignet. Das kamerabasierte Monitoring mit unbemannten Flugzeugen kann dagegen großflächig eingesetzt werden. In bewaldeten Gebieten sind die flächendeckende Beobachtung und Zählung von Wildtieren jedoch aufgrund der dichten Vegetation sehr eingeschränkt.

Die Berücksichtigung dieser Verdeckungen ist erstmals mit einer neuen Technik möglich, die als luftgestütztes Lichtfeld-Sampling (ALFS) bezeichnet wird und das Geschehen auf dem Waldboden (z. B. die Tierwelt) sichtbar macht. ALFS basiert auf der Lichtfeldtechnik, bei der eine Sequenz eines Überflugs zusammen mit Positionsdaten und einem Höhenmodell des Geländes zu einem Integralbild verrechnet wird. Im Forschungsprojekt BAMBI an der FH OÖ werden in diesen Integralbildern Tiere mit Künstlicher Intelligenz detektiert. Diese ALFS-Berechnung mit einem Höhenmodell ist mit hohem Aufwand verbunden, erfordert genaue Positionsangaben. Fehler im DEM oder den Positionsdaten. ALFS basiert zudem auf der Annahme das Objekte statisch sind. Sich bewegende Objekte (z.B. fliehende Tiere) stellen somit ein Problem dar und verhindern, dass die Tiere sowohl für Mensch als auch KI erkennbar sind.

Zu diesem Zweck soll eine KI Methode entwickelt werden, die in der Lage ist, Informationen mehrerer zeitlich zusammenhängender Videobilder zu kombinieren, um bewegte Tiere zu detektieren. Damit sollen die Nachteile vermindert, aber der Vorteil, dass die ALFS-Technologie mit Verdeckung umgehen kann, erhalten bleiben. Hierfür werden qualitativ hochwertige Trainingsdaten benötigt. Entsprechende Daten werden bereits im Rahmen des BAMBI-Projekts gesammelt. In den aufgenommenen Daten aus BAMBI sind Wildtiere mit Bewegung enthalten. Diese Tiere sind allerdings schwer bis gar nicht zu annotieren und daher für Trainingszwecke nur bedingt einsetzbar. Aus diesem Grund sollen zusätzlich Daten durch Synthesemethoden auf Basis von CGI-Simulationen und generativen KI-Ansätzen erzeugt werden.

Basierend auf diesen simulierten Daten sollen existierende Modellarchitekturen für den Einsatz zum Wildtiermonitoring weiterentwickelt werden. Drei konkrete Vorschläge für Modellarchitekturen sollen in der Dissertation implementiert und evaluiert werden und kombinieren, zum Beispiel, Points-of-Interests mit State-of-the-Art Trackingverfahren und Objekt Detektoren. Diese Architekturen sollen die Klassifikation trotz Verdeckung und Bewegung ermöglichen und können mit den synthetischen Daten trainiert werden. Neben dem Einsatz für das Wildtiermonitoring und der Erhaltung und Förderung der Biodiversität, profitieren auch weitere Anwendungsfälle, wie zum Beispiel Personensuche, von den Erkenntnissen dieser Dissertation.

Abstract

The impending climate catastrophe jeopardises the integrity of habitats such as the forests on our planet. However, intact ecosystems are the basis of life in a complex interplay of countless species. If individual species from these interactions are lost or spread, the affected habitats threaten to become unbalanced. The preservation and promotion of biodiversity is central to this balance. This requires the monitoring of wildlife populations.

Current methods (e.g. camera traps) use random sampling for population and density estimates. However, such methods are unsuitable for large areas. Camera-based monitoring with unmanned aerial vehicles, on the other hand, can be used over large areas. In forested areas, however, the comprehensive observation and counting of wild animals is very limited due to the dense vegetation.

For the first time, it is possible to take these occlusions into account using a new technique known as airborne light field sampling (ALFS), which visualises what is happening on the forest floor (e.g. wildlife). ALFS is based on the light field technique, in which a sequence of an overflight is combined with position data and a digital elevation model of the terrain to create an integral image. In the BAMBI research project at the University of Applied Sciences Upper Austrian, animals are detected in these integral images using artificial intelligence. This ALFS calculation with an elevation model involves a great deal of effort and requires precise positioning data. Errors in the DEM or the position data, as well as movements of animals, lead to problems in the integral image. The latter problem is due to the fact that ALFS is based on the assumption that objects are static. Moving objects (e.g. fleeing animals) therefore pose a problem and prevent animals from being recognised by humans or AI using current ALFS-based methods.

In this work, an AI method is to be developed that is able to combine information from several temporally related video images in order to detect moving animals. This should minimise the disadvantages but retain the advantage that the ALFS technology can deal with occlusion. High-quality training data is required for this. Corresponding data is already being collected as part of the BAMBI project. The recorded data from BAMBI includes wild animals with movement. However, these animals are difficult or impossible to annotate and are therefore only of limited use for training purposes. For this reason, additional data will be generated using synthesis methods based on CGI simulations and generative AI approaches.

Based on this simulated data, existing model architectures will be further developed for use in wildlife monitoring. Three concrete proposals for model architectures will be implemented and evaluated in the dissertation and combine, for example, points-of-interest with state-of-the-art tracking methods and object detectors. These architectures should enable classification despite occlusion and movement and can be trained with the synthetic data. In addition to the use for wildlife monitoring and the conservation and promotion of biodiversity, other use cases, such as people search, also benefit from the findings of this dissertation.

zurück