FFG Projektdatenbank

zurück

HOPPER

Handling of man-made objects using automated positioning, planning and enhanced reasoning methods

Projektbeschreibung

Viele Tätigkeiten in Produktions- und Transportprozesse werden in Zukunft von autonomen Systemen ausgeführt werden. Der Bedarf an Automatisierung ist dabei nicht nur vom Willen getrieben, die Kosten- und Arbeitseffizienz zu steigern, sondern beruht auf der auf dem gesellschaftlichen Wandel, in dem Berufe mit vorwiegend einfachen, monotonen Tätigkeiten immer mehr an Attraktivität verlieren. Der daraus resultierende Mangel an Arbeitskräften stellt eine Belastung für weitere notwendige Entwicklungen in der Wirtschaft und der Industrie dar. Die Übertragung von menschlichen Tätigkeiten in automatisierte Arbeitsprozesse ist von vielen Herausforderungen gekennzeichnet. Analog zu geschulten Facharbeitern bedürfen bestimmte Arbeitsaufgaben einer ausgeprägten Hand-Auge-Koordination und einem gleichzeitigen Bewusstsein über das Umfeld. Die maschinen-gestützte Handhabung von Waren ist ein solches Szenario wo genaue räumliche Positionierung und Planung von Bewegungen immer wieder auftreten.
In diesem Projekt soll ein breites Feld an Tätigkeiten automatisiert werden: das Be- und Entladen in verschiedenen angewandten Aufgabengebieten. Um komplexe Operationen zwischen mehreren großen Maschinen/Objekten durchzuführen, erfordert das Erreichen der Zentimetergenauigkeit eine eindeutige Abstraktion der umgebenden Szene und ihrer Beziehungen. Die dabei entstehende technologische Antwort auf die aufgabenspezifischen Herausforderungen basiert auf einer Reihe von sich ergänzenden Repräsentationen und einer optimalen Pfad- und Bewegungsplanung mit nichtlinearen Einschränkungen.
Im Prozess von sensorischer Erfassung bis zum Reagieren und Steuern werden wir uns mit den folgenden Forschungsschwerpunkten befassen: (i) Verständnis der Szene und ihrer Beziehungen, (ii) robuste Posen-Schätzung/-verfolgung unter Verwendung mehrerer objektspezifischer Hinweise (gelerntes Aussehen, explizite Geometrie, Tiefeninformationen), um den hohen Grad (>50%) der Verdeckungen der zu erkennenden Schlüsselelemente zu bewältigen, (iii) frühzeitige Nutzung von Simulation und Datensynthese, um die Sensorplatzierung zu optimieren und den Datenbedarf moderner Lerntechniken zu decken.
Unser Projekt bietet in mehrfacher Hinsicht spannende Perspektiven: die Realisierung der geplanten automatisierten Arbeitsaufgabe hat weitreichende Auswirkungen, da die spezifischen Anwendungsfälle des Projekts auf ein breites Spektrum von Arbeitsprozessen mit komplexer Interaktion und Objektmanipulation abgebildet werden können. Darüber hinaus ist die Aufstellung der Projektpartner sehr komplementär, da sie die gesamte Bandbreite von Technologiekonzepten, Sensorik und -steuerung bis hin zur Technologie-Validierung am Einsatzort abdecken.
Das notwendige Technologie-Know-how weist starke systemische Eigenschaften auf, wobei wir vorhandenes Know-how über mehrere sich ergänzende Sensormodalitäten, Integrations- und Validierungsfähigkeiten einbringen. Darüber hinaus erwarten wir in ausgewählten, bisher ungelösten Bereichen neue Forschungsergebnisse mit großer praktischer Wirkung. Das Projektergebnis soll ein umkonfigurierbares (neuartiger Maschinentyp) und erweiterbares (hinzugefügte Sensoren) Funktionsmodul ergeben, das in der Lage ist, in Außenbereichen in verschiedenen Größenordnungen (z.B. nah /Paletten-Beladung/, fern /automatisierter Kran/) zu arbeiten.

Abstract

Production and transport processes of the future will mostly involve operations carried out by autonomous robots. This demand for automation is not solely driven by the will to enhance cost- and work-efficiencies, but also due to the ongoing change in the society where professions involving simple, monotonic work processes are quickly losing attractivity. The resulting shortage of workers thus represents a certain burden towards further economic and industrial development.
Converting human work processes into automated workflows is, however, not without challenges. Analogously to trained human workers, certain tasks require sophisticated hand-eye coordination and maintaining an awareness of the surroundings. Machine-assisted handling of goods is such a scenario, where spatially accurate positioning and planning of movement are recurring operational steps.
In this project we seek to automate a broad set of operations: handling of manmade objects in different applied task settings like loading and unloading. To execute complex operations between multiple large-sized machines/objects, reaching centimetre-level accuracy requires an unambiguous abstraction of the surrounding scene and its relations. Our proposed technological answer to the task-specific challenges is based on a set of complementing representations and optimal motion planning incorporating nonlinear constraints.
In the process from sensing to reasoning & control we will address following key research targets: (i) understanding the scene and its relations, (ii) robust pose estimation and tracking employing multiple object-pose-specific cues (learned appearance, explicit geometry, depth data) to cope with the high degree (>50%) of occlusions of key elements to be recognized, (iii) exploiting simulation and data synthesis from early on to optimize sensor placement and cope with the data need of modern learning techniques.
Our project offers exciting perspectives due to multiple aspects: solving the envisioned automated operation task has a far-reaching impact, since the project’s specific use-cases can be mapped to a broad set of work processes involving complex interaction and object manipulation. Furthermore, project partners are highly complementary as they span the whole range from technology concept, robot sensing & control to technology on-the-field validation.
The necessary technology know-how exhibits strong systemic characteristics, where we bring existing know-how on multiple complementing sensing modalities, systemic integration and validation skills. In addition, in selected, so-far unsolved areas we anticipate creating new research results of great practical impact. The project outcome shall yield a re-configurable (new type of machinery) and extensible (added sensors) robotic functional module, capable to operate in outdoor environments at various scales (such as near /palette loading/, far /automated crane/).

zurück