FFG Projektdatenbank

zurück

SIM4AGRI

Simulation for Agricultural AI-Systems

Projektbeschreibung

Smart Farming und KI-basierte Methoden gewinnen in der Landwirtschaft zunehmend an Bedeutung und eröffnen Unternehmen neue Potenziale, etwa in der visuellen Pflanzenerkennung, selektiven Applikation, autonomen Ernte oder Prozessüberwachung. Gleichzeitig schaffen sie neue Möglichkeiten für kosteneffiziente Entwicklungs- und Validierungsprozesse. Für Unternehmen stellt die Leistungsfähigkeit dieser Technologien jedoch eine zentrale Herausforderung dar, da sie von der Verfügbarkeit umfangreicher annotierter Datensätze abhängt. Die Erhebung realer Daten ist mit hohen Kosten, erheblichem Ressourceneinsatz und saisonalen Einschränkungen verbunden und bietet nur begrenzte Variabilität. Gleichzeitig verlaufen KI- und Hardwareentwicklung häufig parallel. Änderungen an Sensorik oder Maschinenkonfiguration können bestehende Datensätze rasch entwerten und zusätzliche Investitionen erforderlich machen.

Über diesen datenbezogenen Engpass hinaus bestehen Einschränkungen bei der Untersuchung physikalischer Prozesse sowie beim Einsatz von Reinforcement Learning: Letzteres erfordert zahlreiche iterative Interaktionen mit realen Systemen, die im Feldbetrieb aufgrund von Zeit-, Kosten- und Sicherheitsaspekten sowie mangelnder Reproduzierbarkeit kaum skalierbar sind.

Ziel des Projekts ist daher der Aufbau einer skalierbaren Infrastruktur zur Generierung synthetischer, automatisch gelabelter Trainings- und Sensordaten in realitätsnahen physikbasierten 3D-Simulationsumgebungen. Kernkomponente ist eine standardisierte digitale Asset-Bibliothek landwirtschaftlicher Objekte, basierend auf 3D-Rekonstruktions- und modellbasierten Verfahren. Diese Assets werden in prozedural generierten Szenen unter variierenden Umweltbedingungen kombiniert, um mittels moderner Simulationssoftware realitätsnahe Sensor- und Interaktionsdaten bereitzustellen.

Die Anwendbarkeit wird anhand dreier von Unternehmen nachgefragten Use Cases exemplarisch untersucht: (1) visuelle Wahrnehmung für verschiedene landwirtschaftliche Anwendungen durch Kombination synthetischer und realer Daten; (2) Simulation von Maschine-Boden-Interaktionen zur datengetriebenen Optimierung von Maschinenparametern und Entwicklung vorausschauender Regelstrategien; (3) Reinforcement Learning für autonome Navigation, bei dem Steuerungsstrategien in Simulation effizient erlernt und auf reale Systeme übertragen werden.

Das Projekt schafft damit eine wiederverwendbare Forschungs- und Entwicklungsinfrastruktur, die die Abhängigkeit von kostenintensiver Felddatenerhebung reduziert, Entwicklungszyklen verkürzt und neue KI-basierte Anwendungen ermöglicht. Der erwartete Impact liegt in einer signifikanten Steigerung von Ressourceneffizienz, Nachhaltigkeit und Innovationsfähigkeit in der Präzisionslandwirtschaft, insbesondere für kleine und mittlere Unternehmen ohne Zugang zu umfangreicher Datenerhebung oder Simulationsinfrastruktur.

Die beantragte Förderung ist erforderlich für den Aufbau entsprechender personeller Expertise sowie leistungsfähiger Rechen-, Simulations- und Digitalisierungsinfrastruktur. Dadurch wird an der Forschungseinrichtung ein strategisches FEI-Kompetenzfeld für simulationsbasierte KI-Entwicklung in der Landwirtschaft etabliert und die Zusammenarbeit mit Unternehmen gestärkt. Die Ergebnisse bilden eine nachhaltige Grundlage für Folgeprojekte mit der Wirtschaft und werden in die Lehre übertragen, um Studierende frühzeitig in praxisnahe Forschungs- und Entwicklungsaktivitäten einzubinden.

Abstract

Smart farming and AI-based methods are becoming increasingly important in agriculture, opening up new opportunities for companies in areas such as visual plant recognition, selective application, autonomous harvesting, and process monitoring. At the same time, they enable more cost-efficient development and validation processes. However, the performance of these technologies strongly depends on the availability of extensive annotated datasets, which represents a major challenge for companies. The acquisition of real-world data is associated with high costs, significant resource requirements, and seasonal limitations, while offering only limited variability. In parallel, AI and hardware development often evolve simultaneously. Changes in sensor setups or machine configurations can quickly render existing datasets obsolete and require additional investments.

Beyond these data-related bottlenecks, limitations also exist in the investigation of physical processes and the application of reinforcement learning. The latter requires numerous iterative interactions with real systems, which are difficult to scale in field operations due to time, cost, and safety constraints as well as limited reproducibility.

The aim of the project is therefore to establish a scalable infrastructure for the generation of synthetic, automatically labelled training and sensor data in realistic physics-based 3D simulation environments. A core component is a standardized digital asset library of agricultural objects based on 3D reconstruction and computer graphics-based modelling approaches. These assets are combined in procedurally generated scenes under varying environmental conditions to provide realistic sensor and interaction data using modern simulation software.

The applicability of the approach is investigated through three industry-driven use cases: (1) visual perception for agricultural applications through the combination of synthetic and real data; (2) simulation of machine-soil interactions for data-driven optimization of machine parameters and the development of predictive control strategies; (3) reinforcement learning for autonomous navigation, where control strategies are efficiently trained in simulation and transferred to real-world systems.

The project will establish a reusable research and development infrastructure that reduces the dependency on costly field data acquisition, shortens development cycles, and enables new AI-based applications. The expected impact lies in significantly improving resource efficiency, sustainability, and innovation capacity in precision agriculture, particularly for small and medium-sized enterprises lacking access to extensive data acquisition or simulation infrastructure.

The requested funding is essential for building the necessary human expertise as well as high-performance computing, simulation, and digitization infrastructure. This will establish a strategic RTI competence field for simulation-based AI development in agriculture at the research institution and strengthen collaboration with industry. The results will provide a sustainable foundation for future collaborative projects with industry partners and will be integrated into teaching activities to involve students in practice-oriented research and development activities at an early stage.

zurück