FFG Projektdatenbank

zurück

PADUA

Precision Agriculture by Data Upcycling for AI

Projektbeschreibung

Vision: Die Vision des Projekts ist eine deutliche Reduktion des manuellen und zeitlichen Aufwands bei der Spezialisierung von KI-Modellen durch die Vereinheitlichung und Erweiterung existierender Bilddaten und Annotationen in Kombination mit der automatisierten Generierung neuer annotierter Daten.

Problemstellung: Mit der Etablierung von datenbasierten KI-Modellen im Bereich Computer Vision steigt der Bedarf an strukturiert aufbereiteten, annotierten und auf das jeweilige Anwendungsgebiet abgestimmten Bilddaten. Die Vermeidung von Redundanzen bei deren Aufnahme und Annotation ist ein wesentlicher Faktor für die Minimierung von Zeit- und Kostenaufwänden. Dies zeigt sich besonders bei komplexen Annotationsanforderungen, wie der Lokalisierung und Identifikation von visuell ähnlichen Objektkategorien, sowie einzelner Teile und Eigenschaften von diesen.

Grundidee und Lösung: Der effizienteste Ansatz zur Aggregation von Trainingsdaten ist die Einbindung von öffentlich zugänglichen Quellen, was jedoch im Normalfall durch deren Heterogenität in Bezug auf Annotationsformate, Genauigkeit und verfügbare Lerntasks drastisch erschwert wird. Daher wird im Zuge dieses Projekts ein innovativer Ansatz zur Vereinheitlichung der relevantesten Datensätze in beliebigen Anwendungsbereichen angestrebt, der durch den Einsatz aktueller KI-basierter Methoden nicht nur inkompatible Formate und Annotationen zusammenführen, sonders zusätzlich deren Qualität und Quantität erhöhen soll. Durch neuartige Methoden der synthetischen Datengenerierung und generativen KI können weiters Annotationen für zusätzliche Tasks erweitert oder sogar komplett neue annotierte Bilddaten erzeugt werden. Dieser Ansatz wird im Bereich der Präzisionslandwirtschaft demonstriert, für die er aufgrund der Komplexität und Diversität der Objekterscheinungsbilder und Umweltbedingungen besondere Relevanz aufweist.

Projektziele und -ergebnisse: Die durch den geplanten Ansatz entstehende Datenbasis kann verwendet werden, um einerseits KI-Modelle für spezifische Anwenderanforderungen zu trainieren und iterativ zu spezialisieren, sowie andererseits existierende kommerzielle Lösungen unabhängig zu evaluieren und zu vergleichen. Durch die effiziente Zusammenführung, Wiederverwertung und Erweiterung bestehender Daten und Modelle wird der manuelle Aufwand darauf reduziert, die identifizierten verbleibenden Lücken für die jeweilige Anwendung zu schließen, indem beispielsweise Daten für bisher nicht abgedeckte Umweltbedingungen oder Pflanzengattungen ergänzt werden.

Das Hauptergebnis des PADUA-Projekts ist eine Reihe neuartiger Methoden, die das Upcycling vorhandener und die Generierung neuer annotierter Bilddaten ermöglichen. Diese werden anhand zweier Anwendungsfälle aus dem Bereich der Präzisionslandwirtschaft, die auf relevanten Kombinationen derzeit unterrepräsentierter Nutzpflanzen und Unkräuter basieren, demonstriert und validiert.

Anwendungspotential und Wirkung der entwickelten Methodik: Die Reduktion von Aufwänden bei der kostenintensiven Annotation und Spezialisierung von Bilddaten erhöht sowohl deutlich die Effizienz und Qualität in der Entwicklung von KI-Modellen im Bereich der individuellen Pflanzenbehandlung, beispielsweise für die gezielte Zufuhr von Wasser und Nährstoffen oder die präzise Entfernung von Unkraut, als auch die Unabhängigkeit von globalen Herstellern automatisierter Landwirtschaftsmaschinen. Dabei sind positive ökologische und wirtschaftliche Auswirkungen zu erwarten, unter anderem da der Bedarf an Pestiziden deutlich reduziert werden kann. Darüber hinaus trägt die Entwicklung dazu bei, den ökologischen Landbau zu fördern und die Lebensmittelversorgung sicherzustellen. Weiters sind die entwickelten Ansätze nahtlos für andere Anwendungsdomänen adaptierbar, um deren Bedarf an strukturierten annotierten Bilddaten zu decken.

Abstract

Vision: The vision of this project is to drastically reduce manual efforts in specializing AI models by unifying and upcycling existing image-annotation sources and automatically generating new samples.

Problem: The rise of data-driven AI models in Computer Vision results in a growing demand for structured sets of annotated images for each specific application domain. Avoiding redundancy while recording and annotating this data is essential for minimizing financial and manual efforts, especially when it comes to complex annotation requirements, such as localizing and identifying multiple similar object categories, as well as their parts and attributes.

Solution and Base Idea: The most efficient way to harvest training data for AI-based applications is to rely on existing publicly available sources whenever possible, which are, however, diverse and mutually incompatible in their formats, potential learning tasks, scales and annotation accuracies. Therefore, we aim to develop a novel approach for unifying the most relevant datasets in any given research area and furthermore extending their quality and quantity by applying AI-based methods such as synthetic data generation and generative models. This allows us not only to convert multiple heterogeneous sources to a common standard and format, but also to automatically enhance them with completely new annotations or even image samples. This approach is especially relevant for applications in Precision Agriculture, which must cope with significant complexity and diversity of object shapes and environmental conditions. Therefore, we selected this domain for the proof-of-concept of our method.

Project Objectives & Results: We aim to apply our method for creating a unified and enhanced dataset in this domain, which can be used for training and specializing AI-models for multiple tasks in Precision Agriculture based on farmers’ most critical needs, as well as independently benchmarking and comparing existing solutions. By reusing, upcycling and analyzing available data and models, manual efforts for new applications can be reduced to filling the identified data gaps, for example annotating completely novel environments or plant species.

The main result of PADUA is a set of novel methods to enable the upcycling of existing and generation of new annotated image data, demonstrated and validated along two Precision-Agriculture use cases based on relevant combinations of currently underrepresented crops and weeds.

Vast Applicability and Impacts of the Novel Method: By rendering the cost-intensive process of data generation and specialization more efficient, as well as providing a comprehensive benchmark for many kinds of agricultural tasks, our approach contributes to revolutionizing individual plant treatment, such as adding nutrition or water, treating plant diseases and automatically removing weeds, as well as increasing farmers’ independence from major global agricultural machinery manufacturers. This could result in a significant ecological and economic impact, reducing the need for pesticides, promoting organic agriculture and ensuring food supply. Furthermore, the methods developed in this context are easily extendable to other domains with sparse or unstructured data infrastructure.

zurück