FFG Projektdatenbank

zurück

CultivateAnything

CultivateAnything: Towards Robust Perception of Rare and Emerging Plant Species

Projektbeschreibung

Vision: Das Projekt CultivateAnything verfolgt die Vision einer neuen Generation von Präzisionslandwirtschaftssystemen, die sowohl effizient und anpassungsfähig als auch erklärbar und zertifizierbar sind. Durch den Einsatz hybrider KI sollen landwirtschaftliche Akteur:innen befähigt werden, rasch und wirksam auf Herausforderungen wie Klimawandel, Marktdynamik und Biodiversitätsverlust zu reagieren. Der Ansatz unterstützt eine nachhaltige Lebensmittelproduktion und stärkt Österreichs Resilienz und Wettbewerbsfähigkeit durch regionale interdisziplinäre Forschung und Entwicklung.

Problemstellung: Landwirtschaftliche Umgebungen verändern sich schnell: neue Kulturpflanzen gewinnen durch klimatische Veränderungen und Konsumtrends an Bedeutung, während invasive Arten zunehmend die Biodiversität und Erträge gefährden. Bestehende KI-Systeme, die meist auf subsymbolischen Verfahren wie Deep Learning basieren, sind nicht effizient an diese Veränderungen anpassbar. Sie benötigen umfangreiche, annotierte Datensätze für die Spezialisierung auf neue Pflanzenarten, was den Prozess teuer, langwierig und oft unzuverlässig macht. Symbolische Ansätze bieten zwar Transparenz, aber keine ausreichende Robustheit für komplexe Feldbedingungen. Diese Diskrepanz erschwert es, flexibel auf seltene, neue oder invasive Pflanzenarten zu reagieren.

Grundidee und Lösung: Wir integrieren symbolisches Wissen, wie Pflanzenontologien, Wachstumsregeln und Bewirtschaftungsstrategien, in subsymbolische Modelle zur visuellen Pflanzenanalyse und in die Bewegungsschätzung. Unser Ansatz des kontinuierlichen Lernens nutzt symbolische Regeln für Datenanalyse und Sampling, während subsymbolische Modelle semi-automatische Annotierung unterstützen. Generative KI-Techniken erweitern die Datensätze zusätzlich, insbesondere für seltene Arten. Weiters entwickeln wir Algorithmen für visuelle Odometrie, Multi-Object Tracking und Multi-Camera Fusion, die symbolisches Wissen mit subsymbolischer Semantik kombinieren, um robuste Pflanzenlokalisierung und Bewegungsprädiktion zu ermöglichen.

Projektziele und -ergebnisse: Das vorrangige Ziel ist es, den Aufwand zur Anpassung von KI-Systemen an unterrepräsentierte Pflanzenarten und Umweltbedingungen deutlich zu reduzieren. Dazu entwickeln wir Methoden zur effizienten Datenaggregation und -annotation sowie eine hybride KI-Architektur für mehrere Tasks, wie Segmentierung, Stängellokalisierung und die Klassifikation von Pflanzenmerkmalen. Für die Bewegungsschätzung werden Tracking- und Odometriealgorithmen mit symbolischem a-priori Wissen und semantischem Kontext erweitert. Die Fusion mehrerer Kameraperspektiven ermöglicht eine präzise räumliche Bewegungsprädiktion relativ zur Bearbeitungsplattform. Alle Komponenten werden anhand von Benchmark-Daten und Expertenbewertungen auf Zuverlässigkeit und Praxistauglichkeit geprüft.

Anwendungspotential und Wirkung: Die entwickelten Methoden sind breit einsetzbar und ermöglichen eine schnelle Anpassung an neue Kulturpflanzen und invasive Arten bei minimalem Datenaufwand. Diese Flexibilität fördert Biodiversität, Klimarobustheit und Anpassungsfähigkeit an veränderte Marktbedingungen. Durch erhöhte Erklärbarkeit und reduzierte Datenmengen wird die Zertifizierbarkeit gemäß EU AI Act verbessert. Das Projekt stärkt Österreichs technologische Souveränität, fördert inklusive landwirtschaftliche Innovation und trägt durch effizientere Technologien zur ökologischen Nachhaltigkeit bei.

Abstract

Vision: CultivateAnything envisions a new generation of precision-agriculture systems that are not only intelligent and efficient but also adaptable, explainable and certifiable. By harnessing hybrid AI, we aim to empower agricultural stakeholders to respond swiftly and effectively to the challenges posed by climate change, market shifts and biodiversity loss. Our approach supports sustainable food production and promotes regional research and development across multiple disciplines, strengthening Austria’s long-term resilience and competitiveness.

Problem: Agricultural environments are changing rapidly, with new crop species gaining relevance due to climate pressures and shifting consumer demands, while invasive plant species pose threats to biodiversity and crop yields. However, current AI systems, primarily based on subsymbolic methods like deep learning, struggle to adapt to these changes. They require large, annotated datasets and extensive retraining for each new species, making them slow, costly and often unreliable in real-world deployment. Symbolic approaches offer transparency and rule-based reasoning but lack the perceptual robustness needed in complex field conditions. This gap limits the ability of farmers and technology providers to flexibly adapt to rare, emerging or invasive plant species.

Solution & Base Idea: We propose to integrate symbolic knowledge, such as crop ontologies, growth patterns and field-management rules, into subsymbolic models for plant perception and motion estimation. This includes a continuous-learning feedback loop where symbolic rules guide data analysis and sample selection, while subsymbolic models support weak supervision and pre-annotation. Generative AI techniques are used to enrich datasets, ensuring diversity even for rare species. In parallel, we develop visual odometry, multi-object tracking and multi-camera fusion algorithms that combine symbolic reasoning with subsymbolic semantics to enable robust plant localization and motion prediction.

Project Objectives & Results: The project aims to reduce the data and effort required to adapt AI systems to underrepresented plant species and environmental conditions. We will develop methods for efficient data aggregation and annotation as well as a hybrid multi-task AI architecture to integrate symbolic and subsymbolic knowledge for tasks such as plant segmentation, stem localization and attribute classification. For motion estimation, we will enhance tracking and odometry with symbolic priors and semantic cues, enabling robust localization in visually homogeneous and uneven terrains. Multi-camera fusion will allow precise 3D motion prediction of plants relative to agricultural machinery. All components will be evaluated using benchmark datasets and expert assessments to ensure reliability, transparency and usability.

Vast Applicability & Impact: The proposed methods are broadly applicable across agricultural domains, enabling rapid adaptation to new crops and invasive species with minimal data requirements. This flexibility supports biodiversity, climate resilience and market responsiveness. By improving explainability and reducing annotation effort, the system facilitates certification under the EU AI Act and promotes human-centered design. The project strengthens Austria’s AI sovereignty, supports inclusive agricultural innovation and contributes to ecological sustainability through more efficient and adaptable technologies.

zurück