FFG Projektdatenbank

zurück

5G-BioDrone

Automatisiertes Monitoring von Heilpflanzen durch Drohnen, 5G und Künstliche Intelligenz

Projektbeschreibung

DRONETECH ist Österreichs größter Drohnen-Dienstleister, spezialisiert auf die Entwicklung individueller Drohnenlösungen in Industrie, Landwirtschaft und Verteidigung.
BIONORICA ist ein ausgewiesener Experte für pflanzliche Arzneien.
In diesem Projekt wollen DRONETECH und BIONORICA ihr gebündeltes Wissen einsetzen, um auf Basis von Drohnen, 5G und künstlicher Intelligenz (KI) einen vollautomatischen Überwachungsprozess der Heilpflanzen zu entwickeln.
Mit multispektralen und hochauflösenden RGB-Kameras ausgestattete Drohnen sollen die Felder nach einem automatisierten Zeitplan scannen. Die gesammelten Daten werden über ein privates 5G-Netzwerk direkt in eine Cloud gestreamt, auf der die von BIONORICA entwickelte und trainierte KI arbeitet. Die KI ist darauf trainiert, Heilpflanzen von Unkraut sowie von Steinen, Stöcken usw. zu unterscheiden. Anhand dieser Informationen kann Unkraut frühzeitig erkannt und entfernt werden, so dass das Feld und seine Ernte von unerwünschten Stoffen sauber gehalten werden. Auch Löcher in der Vegetation werden von der KI erkannt.
Anhand der multispektralen Bilder kann die KI Bereiche mit verminderter Vitalität erkennen, die mit bloßem Auge vielleicht noch nicht sichtbar sind. So kann der Landwirt frühzeitig und vor allem selektiv Maßnahmen wie Bewässerung, Düngung oder den Einsatz von Pestiziden ergreifen. Durch dieses gezielte Vorgehen wird die Menge an Wasser, Dünger und Pestiziden deutlich reduziert und somit Grundwasser, Boden sowie die Heilpflanzen vor zu großer Belastung bewahrt.
Das 5G-Netz wird entscheidend sein, um die große Menge an Daten von der Drohne an die KI zu übertragen.

Abstract

DRONETECH is Austrias largest drone service provider, specialized to design individual drone solutions in industry, agriculture and defence.
BIONORICA is a proven expert for herbal medicine.
In this project, DRONETECH and BIONORICA want to apply their combined knowledge to develop a drone-based fully automated monitoring process of the medical plants based on drones, 5G and artificial intelligence (AI).
Drones equipped with multispectral and high-resolution RGB cameras are supposed to scan the fields according to an automated schedule. The collected data is streamed via a private 5G network directly into a cloud on which the AI developed and trained by BIONORICA operates. The AI is trained to distinguish the medical plants from weeds as well as stones, sticks, etc. Using this information, weeds can be early detected and removed, keeping the field and its harvest clean from unwanted substances. Holes in the vegetation are also detected by the AI, allowing to sow a second time.
From the multispectral images, the AI can detect areas showing reduced vitality which might not yet be visible by plain eye. Thus, the farmer is able to take early and, more important, selective action like watering, fertilizing or using pesticides. By this selective action, the amount of water, fertilizer and pesticides is significantly reduced, thus saving ground water, soil as well as the medical plants from too Belastung.
The 5G network will be crucial to stream the high amount of data from the drone to the AI.

Endberichtkurzfassung

Kurzzusammenfassung KI-Adaption Drohnenflug

Das Ziel der KI-Adaption war die Etablierung der notwendigen informationstechnischen Infrastruktur (Server- und Speicher-Infrastruktur), sowie die Entwicklung von Algorithmen und programmatischen Pipelines zur vollautomatischen Verarbeitung erhobener Bilddaten. Dies umfasste die geographische Zuordnung, Speicherung und das Abrufen entsprechender Bilder, Vorbereitung und Durchführung des KI-Trainings zur Segmentierung und Klassifizierung des Bildinhalts, Güte-Bewertung erstellter Modelle, Vorhersage neuer Bilder, sowie die Projektion georteter Pflanzen auf eine abstrakte Karte. Weiterhin gehörte hierzu die Rekonstruktion des Flugpfads der Drohne, exakte GPS-Verortung der Bildausschnitte und die KI-gestützte Ermittlung des Bedeckungsgrads an Heilpflanzen über das Gesamtfeld, sowie die Visualisierung sämtlicher Ergebnisse. Am Feld wurden Parameter zur Pflanzengesundheit und dem Unkrautdruck erhoben. In chemischen Analysen wurden Gesamtpolyphenole, Gesamtflavonoide, antioxidatives Potential und massenspektrometrische Inhaltsstoffprofile gemessen.

Aus Sicht der Drohnenanwendung waren die wesentlichen Projektergebnisse:

- Sehr robuste Erfahrungswerte im Bereich der Vitalitätsanalyse von kleinen Pflanzen.
Vor allem bei der Multispektralanalyse werden vorrangig Flächen oder größere Bereiche betrachtet. Die Kachelgröße der Ergebnisdaten reicht aber bei Heilkräutern keinesfalls aus. Im Projekt mussten daher Flüge auf deutlich niedrigerer Flughöhe durchgeführt werden, als dies normalerweise der Fall wäre. Die so erreichten Ergebnisse waren für uns auch im Fall der RGB-Daten ein Novum im Smart Farming Sektor.

- Erkenntnisse bezüglich Overlap und Aufnahmemetrik in der Flugplanung
Die Anforderung, bei den Ergebnisdaten möglichst keine Bildüberlappung zu haben, steht dem branchenüblichen Ansinnen, möglichst viele Daten zu sammeln, diametral gegenüber. Die Flugplanungen zum Zweck der Datenaufnahme für KI-Auswertung waren daher insofern herausfordernd als die verfügbaren Softwarelösungen diesen Fall nicht unbedingt vorsehen. Zusätzlich erschwert wurden die Aufnahmen, wie im inhaltlichen Bericht erwähnt, durch Abweichungen in den Geländedaten die die Basis für die Flughöhe und damit den Overlap bilden.

- 5G Netzabdeckung und Erschwernisse bei der Ergebnisübertragung
Obwohl die Flughöhe im gegenständlichen Projekt gering genug war um potentiell das für die ground user designte 5G Netz nutzen zu können (bei konventionellen Flughöhen von ca. 60-80m AGL serh schwierig) waren die Felder nicht innerhalb von abgedeckten Gebiten.
Aktuell gestaltet sich der real time Datentransfer auch noch entsprechend schwierig, da die verwendeten Datenmengen selbst bei Giabit-Downlink mit 4zu1-Taktung die 200Mbit/s für den Upload übersteigen und entweder ein on-board-processing oder Pufferspeicherung notwendig machen.
Sehr gut ableiten lies sich aber die generelle Notwendigkeit von Gigabit-Connectivity für use cases wie unseren, da die Datenqualität, und damit verbunden naturgemäß die Menge, für eine genaue Auswertung gar nicht hoch genug sein kann.

zurück