FFG Projektdatenbank

zurück

TeleAssist

Enabling Effective Human-Machine Cooperation and Guided Error Resolution in Complex Production Environments

Projektbeschreibung

Um einen kontinuierlichen Materialfluss in der produzierenden Industrie zu gewährleisten, ist eine effiziente Produktionslogistik unerlässlich. Es bestehen jedoch Herausforderungen wie der Mangel an qualifizierten Fachkräften, begrenzte Automatisierungsmöglichkeiten bei komplexen oder sicherheitskritischen Aufgaben sowie allgemein belastende Arbeitsbedingungen. Traditionell galt eine 1:1-Zuordnung zwischen Bedienpersonal und Maschinen, was jedoch die Flexibilität und Ressourcennutzung einschränkt. Zunehmend müssen Bediener*innen mehrere Maschinen gleichzeitig steuern, was zu häufigen Kontextwechseln führt, die eine kognitive Überlastung und damit eine geringere Effizienz zur Folge haben können. Bestehende Fernbedienungslösungen bieten zwar erhebliche Vorteile, wie verbesserte Ergonomie, geringere Gefahrenexposition und den Wegfall physischer Zugangsbeschränkungen, weisen jedoch Schwächen bei der Situationswahrnehmung und der Fehlersuche auf.

TeleAssist konzentriert sich darauf, diese Herausforderungen bei der Teleoperation von Maschinen zu bewältigen, Hürden abzubauen und die bestehenden Vorteile des Remote-Betriebs zu nutzen. Ziel ist es, dem Bedienpersonal eine Situationswahrnehmung und -einschätzung zu ermöglichen, die dem vor Ort anwesender Fachkräfte gleichkommt. Durch intuitive Schnittstellen und intelligente Maschinenunterstützung können Bediener*innen mehrere Maschinen effektiv steuern, indem sie klare Einblicke in den Zustand und die Aufgaben jeder Maschine erhalten. Dadurch werden kognitive Überlastungen minimiert und reibungslose Wechsel zwischen Maschinen ermöglicht. Wir entwickeln Technologien, die von der traditionellen Teleoperation zu einem kooperativen System übergehen, in dem auch Nicht-Spezialist*innen komplexe Maschinen bedienen und Probleme aus der Ferne lösen können. Um dies zu erreichen, sollen Maschinen in die Lage versetzt werden, ihre internen Prozesse anhand ihrer Dokumentation zu verstehen, indem dieses Wissen in einer flexiblen, LLM-basierten Datenbank abgebildet wird. Ergänzt durch Prozessdaten und abstrahierte Sensordaten entsteht eine kontextbezogene Wissensbasis, die der Maschine ein umfassendes Verständnis ihrer Aufgaben, ihres Maschinenzustands und ihrer Umgebung sowie die Identifikation potenzieller Ursachen bei Problemen ermöglicht. Ein benutzerfreundliches User Interface soll dem Bedienpersonal jederzeit die nötige Übersicht bieten und die kooperative Lösung von Aufgaben unterstützen. Zusätzlich wird eine bestehende Simulation um Schnittstellen zur Wissensdatenbank und zu abstrahierten Sensordaten erweitert, um eine flexible Testumgebung für die Evaluierung durch Benutzer zu schaffen.

Dieser menschzentrierte Ansatz fördert eine nahtlose Zusammenarbeit zwischen Bediener*innen und Maschinen und steigert so die Produktivität und Zufriedenheit. Die im Projekt erarbeiteten Lösungen sind darüber hinaus geeignet, den Kreis potenzieller Bewerber*innen für solche Positionen zu erweitern, indem die physischen Anforderungen reduziert werden, was die Inklusion deutlich erhöht. Letztlich wird dies die Nutzung von Personalressourcen optimieren, die Attraktivität und Nachhaltigkeit von Bediener*innen-Rollen erhöhen und die Zuverlässigkeit von Produktionslogistiksystemen insgesamt verbessern.

Abstract

In today's rapidly evolving industrial landscape, ensuring the efficiency of production logistics is essential for maintaining a continuous flow of materials. However, there are challenges such a shortage of skilled workers, automation limitations in complex or safety-critical tasks, and harsh working environments. Traditionally, a 1:1 relationship between operators and machines has been the standard approach, but this limits flexibility and resource optimization. Increasingly, operators are required to manage multiple machines simultaneously, resulting in frequent context switching, which can lead to cognitive overload and reduced efficiency. Existing remote control solutions offer significant advantages, such as improved ergonomics, reduced exposure to hazards, and the elimination of physical access restrictions. However, they exhibit weaknesses in situational awareness and troubleshooting.

This project will focus on enhancing remote operation capabilities to tackle these challenges while retaining the advantages of remote operation. The aim is to enable operators to have situational awareness that is equivalent to that of on-site personnel. Through intuitive interfaces and intelligent machine support, operators will effectively manage multiple machines by receiving clear insights into the status and tasks of each machine, thereby minimizing cognitive overload and enabling smooth transitions between machines. We will shift from traditional teleoperation to a collaborative system where even non-specialists can handle complex machinery and resolve issues remotely. To achieve this, machines should be enabled to understand their internal processes based on their documentation by representing this knowledge in a flexible, LLM-based database. Supplemented by process data and abstracted sensor data, this creates a context-aware knowledge base that provides the machine with a comprehensive understanding of its tasks, machine state, and environment, as well as the ability to identify potential causes of problems. A user-friendly interface will ensure that operators always have the necessary overview and are supported in cooperative task-solving. Additionally, an existing simulation will be extended with interfaces to the knowledge database and abstracted sensor data to create a flexible testing environment for user evaluation.

This human-centered approach fosters seamless collaboration between operators and machines, improving productivity and work satisfaction. Additionally, the project will broaden the pool of potential operators by reducing the role's physical demands, thus enhancing inclusiveness. Ultimately, this will optimize human resource utilization, make operator roles more attractive and sustainable, and improve the overall reliability of production logistics systems.

zurück