FFG Projektdatenbank

zurück

PerAction

Robot Evolution Lab - Sim2Real/Real2Sim Approaches for Perception, Physical Interaction, Manipulation, and Collaboration

Projektbeschreibung

Während jüngste Fortschritte im Bereich des maschinellen Lernens und des maschinellen Sehens zu erheblichen Verbesserungen bei der autonomen Navigation von Robotern und der maschinellen Objektklassifikation geführt haben, sind die Fähigkeiten heutiger Robotersysteme zur sicheren physischen Interaktion mit Menschen und Objekten in der realen Welt immer noch begrenzt. In unbekannten, unstrukturierten und unübersichtlichen Umgebungen sind die Erfolgsraten beim Greifen und Manipulieren von Objekten, die sich in Größe, Form, Steifigkeit oder Position unterscheiden, für viele gewünschte Anwendungsfälle derzeit nicht ausreichend. Das Risiko, dass bei der physischen Interaktion Kräfte angewendet werden, die Menschen verletzen oder Objekte beschädigen können, ist oft zu hoch, um eine praktische Anwendung zu erlauben.

Die Kernhypothese des vorgeschlagenen Labors ist, dass die Verbesserung der physischen Interaktion zwischen Robotern und ihrer Umgebung (einschließlich anderer Roboter) ein Überdenken der physischen Realisierung von Robotern und Manipulatoren erfordert. Eine massive "Sensorisierung" von Robotern unter Verwendung von Sensorhäuten und verschiedenen Sensormodalitäten sowie neuartige Ansätze zur aktiven Hautanpassung sollen zu einem Durchbruch bei der sicheren, stabilen, präzisen und effektiven Interaktion von Robotern mit Menschen und Objekten in ihrer Umgebung führen.
In der Natur haben sich Spezies entwickelt, die auf ihre Lebensweise und Umgebung spezialisiert sind. In ähnlicher Weise hängt das optimale Design von Robotern von den jeweiligen Anwendungen und Umgebungen ab. Analog zur Evolution in der Natur, wird auch die entsprechende Evolution von Robotern viele Zyklen benötigen. Jeder dieser Zyklen erfordert eine aufwendige Bewertung hinsichtlich der Eignung des Roboterdesigns für die jeweilige Aufgabe. Folglich ist dieser Ansatz - abgesehen von den letzten Zyklen - nicht mittels realen Experimente umsetzbar. Beim so genannten "sim2real"-Ansatz werden stattdessen Simulationen verwendet. Der Ansatz erfordert realistische Simulationen auf Systemebene, die alle Sensoren und Aktuatoren berücksichtigen. Die Entwicklungen im Bereich der Computergrafik und GPUs ermöglichen schnelle und realistische Simulationen von Kamerabildern, aber auch für andere Sensoren wie ToF-Kameras, Radarsensoren und kapazitive Sensoren wurden ähnliche Ansätze entwickelt.
Der Stand der Technik ist hinsichtlich schneller und realistischer Simulation von physischem Kontakt und taktilen Sensoren jedoch noch begrenzt. PerAction adressiert die notwendige Infrastruktur, um sim2real-Ansätze für taktile Sensoren, physische Interaktion und Hautanpassung zu ermöglichen und zu verbessern. Da neben physischem Kontakt, taktiler Sensorik und Hautadaptierungen auch die Umgebungswahrnehmung von Interesse ist, wird die PerAction auch die Verbesserung der entsprechenden Simulationsmodelle sowie die Erstellung neuer Simulationsmodell, z.B. für Terahertzmesssysteme, ermöglichen.

Abstract

While recent advances in machine learning and machine vision have led to significant improvements in autonomous robot navigation and automatic object classification, the ability of today's robotic systems to safely physically interact with people and objects in the real world is still limited. In unknown, unstructured, and cluttered environments, the success rates for grasping and manipulating objects that differ in size, shape, stiffness, or position are currently insufficient for many desired use cases. The risk of applying forces during physical interaction that could injure people or damage objects is often too high to allow practical application.

The core hypothesis of the proposed lab is that improving the physical interaction between robots and their environment (including other robots) requires rethinking the physical realization of robots and manipulators in terms of both perception and actuation. A massive "sensorization" of robots using sensor skins and different sensing modalities, as well as novel approaches for active skin adaptation and a tightly integrated development of local perception and interpretation with localized actuation should lead to a breakthrough in the safe, stable and effective interaction of robots with humans and objects in their environment.

In nature, species have evolved that are specialized to their way of life and environment. Similarly, the optimal designs of robots will be highly dependent on their respective applications and environments. Since the evolution of species in nature took many evolutionary cycles, the corresponding evolution of robots will most likely also require many cycles. Each of these cycles requires extensive evaluation to assess the fitness of the robot for the task. Consequently, this approach is not feasible with real experiments for all but the last cycles. In the so-called "sim2real" approach, simulations are used instead of physical experiments to evaluate architectures and generate training data. The sim2real approach requires highly realistic system-level simulations that account for all the proposed massive sensing and actuation capabilities. Developments in computer graphics and GPUs allow fast and realistic simulations of camera images, but similar approaches have also been developed for other sensors such as ToF cameras, radar sensors, and capacitive sensors.

However, state-of-the-art methods for fast and accurate simulation of physical contact and tactile sensors are still limited. PerAction addresses the necessary infrastructure to enable and further improve sim2real approaches for tactile sensors, physical interaction and skin adaptation. Since not only tactile, but also proximity sensing and physical interaction approaches are involved, the infrastructure will also be used to further improve the corresponding simulation models, and it will also provide the means to develop such simulation models for emerging terahertz measurement systems.

zurück