FFG Projektdatenbank

zurück

ViViCo

Virtual Viewpoint Control

Projektbeschreibung

Schwerlastmaschinen wie Krane und Gabelstapler bilden das Rückgrat der Logistik- und Bauindustrie. Der Betrieb dieser Maschinen ist jedoch aufgrund ihrer enormen Größe und Leistung sowie der erforderlichen präzisen Steuerung äußerst anspruchsvoll. Trotz technologischer Fortschritte hat sich die Bedienung dieser Maschinen in den letzten Jahrzehnten kaum verändert und ist weiterhin durch harte Arbeitsbedingungen und hohe psychische Belastungen geprägt. Zusätzlich erfordert die eingeschränkte Sicht oft den Einsatz mehrerer Personen zur Bedienung von Kränen mit großer Reichweite, wobei auf gesten- und sprachbasierte Kommunikation zurückgegriffen wird. Leider befinden sich diese Einweiser häufig in gefährlichen Positionen, was ihre Sicherheit gefährdet.

Unser Projekt „Virtual Viewpoint Control“ (ViViCo) adressiert diese Herausforderungen, indem es Digitale Zwillinge mit XR-Systemen integriert und die Steuerung von Schwerlastmaschinen in das digitale Zeitalter führt. Der Kern von ViViCo besteht darin, Bedienern dynamisch generierte Perspektiven direkt aus dem Digitalen Zwilling bereitzustellen, die durch Interpolation von multi-modalen Sensordaten optimale Blickwinkel zur Visualisierung von Maschinenoperationen bieten. Diese immersive Erfahrung verbessert Situationsbewusstsein, Präzision und Kontrolle und ermöglicht es den Bedienern, sich vollständig auf ihre Aufgaben zu konzentrieren, ohne durch eingeschränkte Sicht oder tote Winkel behindert zu werden.

ViViCo geht über reine Visualisierung hinaus, indem es Bedienern ermöglicht, Maschinen direkt aus ihren gewählten Virtuellen Blickpunkten zu steuern. Durch Echtzeit-Umgebungskartierung und adaptive Steuerungsalgorithmen überwacht das System kontinuierlich die Umgebung und passt die Kranbewegungen dynamisch an, um eine präzise, kollisionsfreie Bedienung unter dynamischen Bedingungen zu gewährleisten. Dieser Ansatz erhöht Sicherheit, Effizienz und Zugänglichkeit, während er gleichzeitig die kognitive Belastung reduziert. Der Fokus auf eine menschenzentrierte Technologieentwicklung kann aktiv soziale Inklusion fördern, Vielfalt stärken und die erhebliche Geschlechterungleichheit im Maschinenbetrieb verringern. Darüber hinaus wird dem akuten Fachkräftemangel begegnet, indem diese Tätigkeiten einem breiteren Personenkreis zugänglich und attraktiver gemacht werden. Das resultierende ViViCo-Framework, entwickelt von einem interdisziplinären Team, überbrückt die Kluft zwischen der virtuellen und physischen Welt.

ViViCo wird einen Proof-of-Concept für ein neues Paradigma des Maschinenbetriebs in einer hybriden Welt liefern, indem eine nahtlose Schnittstelle zwischen digitalen und physischen Bereichen geschaffen wird. Die Weiterentwicklung der europäischen Technologieführerschaft im Bereich der Schwerlastmaschinen wird unsere technologische Souveränität und langfristige Wettbewerbsfähigkeit sichern. Die Technologie wird als Proof-of-Concept an realen Schwerlastmaschinen in einer Laborumgebung validiert.

Abstract

Heavy machinery such as cranes and forklifts forms the backbone of the logistics and construction industries. However, operating these machines is highly demanding due to their massive size and power, combined with the need for precise control. Despite technological advancements, the operation of these machines has changed little over the past decades and continues to be plagued by harsh working conditions and high psychical stress. Additionally, limited visibility often necessitates multiple personnel to operate long-reach cranes, relying on gesture-based and verbal communication. Unfortunately, these spotters are frequently positioned in hazardous locations, putting their safety at risk.

Our project “Virtual Viewpoint Control” (ViViCo) addresses these challenges by integrating Digital Twin technology with XR systems advancing control of heavy machinery into the digital age. At its core, ViViCo provide operators with dynamically generated perspectives directly from the Digital Twin, offering optimal angles to visualize machinery operations by interpolating multi-modal perception sensor data. This immersive experience enhances situational awareness, precision, and control, allowing operators to focus fully on their tasks without obstructed views or blind spots.

ViViCo goes beyond visualization by enabling operators to directly control machinery from their chosen Virtual Viewpoints. Through real-time environmental mapping and adaptive control algorithms, the system continuously monitors surroundings and adjusts crane-tip movements for precise, collision-free operation under dynamic conditions. This approach improves safety, efficiency, and accessibility while reducing cognitive load. Focusing on human-centered technology development can actively promote social inclusion, enhance diversity, and help bridge the significant gender gap in machine operation. This approach also addresses the pressing shortage of skilled labor by making these roles more accessible and appealing to a broader range of individuals. Developed by an interdisciplinary team, the resulting ViViCo framework bridges the gap between the virtual and physical world.

ViViCo will deliver a proof-of-concept for a new paradigm of heavy machine operation within a hybrid world, creating a seamless interface between the digital and physical realms. Advancing Europe’s technological leadership in heavy machinery will reinforce our competitive edge, ensuring both technological sovereignty and long-term competitiveness. We will validate the technology as a proof-of-concept on real heavy machines in lab environment.

zurück