FFG Projektdatenbank

zurück

ApolloTwin

ApolloTwin: Immersive Audio Authoring and Precision Spatial System for Complex Acoustical Environments and Hybrid Worlds

Projektbeschreibung

Komplexe Veranstaltungsräume (XR-Training, Sportstadien) innerhalb des globalen LBE-Marktes stehen zunehmend unter dem Anspruch, immersive Audioerlebnisse zu liefern, die präzise, verständlich und räumlich exakt lokalisiert sind. Diese Umgebungen sind längst keine statischen Installationen mehr, sondern komplexe, akustisch herausfordernde Ökosysteme.

Laut Marktprognosen wird erwartet, dass der globale LBE-Markt bis 2032 auf 23,34 Mrd. USD anwächst, mit einer durchschnittlichen jährlichen Wachstumsrate von 20,9 % (Fortune Business Insights, 2025). In Europa soll das verwandte Segment „Immersive Entertainment“ von 29,21 Mrd. USD im Jahr 2024 auf 86,93 Mrd. USD im Jahr 2029 wachsen (Mordor Intelligence, 2025). Allein der Themenparksektor wird voraussichtlich bis 2031 ein Volumen von 2,99 Mrd. USD erreichen (Persistence Market Research, 2025).

ApolloTwin adressiert diese Anforderungen durch die Entwicklung eines robusten, zentralisierten Echtzeit-Kerns für softwaredefinierte Hardware-Steuerung. Das Projekt geht über reine Simulation hinaus und liefert den Software-Stack, der passive Lautsprecher-Arrays über zentralisiertes Beam Steering aktiv ansteuert, aktive „Augmented Acoustics“ kontrolliert und haptische Akustikböden synchronisiert.

Die zentrale Innovation ist die „Centralized Software-Defined Architecture“, die komplexe Signalverarbeitung aus dem Lautsprecher heraus und in den Apollo Echtzeit-Kern verlagert. Dazu gehören fortgeschrittene Funktionen wie Beam Steering, Augmented Acoustics und Feedback-Unterdrückung. Diese Architektur ermöglicht es der Auto-Kalibrierlogik, kosteneffiziente passive Arrays anhand eines Digitalen Zwillings dynamisch für spezifische Veranstaltungsorte zu konfigurieren. Das Konsortium verbindet Software-Innovation von atmoky mit angewandter Forschung des IEM und industrieller Hardware-Expertise von der Firma ITEC, die die physische Validierungsumgebung bereitstellt, um zu zeigen, dass PC-basierte Steuerung passiver Hardware eine hohe Sprachverständlichkeit und interferenzfreie Audioqualität liefert.

Im Kern basiert die Technologie auf einer integrierten Toolchain, bestehend aus:

einer modularen Systemkonfiguration und Authoring für objektbasiertes 3D-Audio, Augmented-Room-Control und Auto-Kalibrierungs-Workflows,
einem latenzarmen Runtime-Kern, optimiert für aktive Direktivitätskontrolle, Spill-Minimierung und Bassmanagement über modulare Lautsprecherkonfigurationen,
einem akustischen Digitalen Zwilling, der plausible Echtzeit-Auralisierung der Quellendirektivität für interaktive virtuelle Rundgänge ermöglicht

ApolloTwin ermöglicht präzise Echtzeitsteuerung professioneller Lautsprechersysteme durch die Kombination eines Digitalen Zwillings mit einer latenzarmen Runtime-Engine. Das System ist darauf ausgelegt, akustische Genauigkeit und betriebliche Zuverlässigkeit in komplexen Veranstaltungsorten sicherzustellen. Der Digitale Zwilling dient als Kalibrier- und Validierungsumgebung, in der Systemintegratoren Beam Steering, Bassmanagement und das Verhalten haptischer Böden bereits vor der physischen Installation vorkonfigurieren können. Im Betrieb steuert die Runtime-Engine modulare Lautsprecher-Arrays und Akustikböden aktiv an, hält hohe STI-Werte ein und minimiert Spill selbst in akustisch anspruchsvollen Räumen. Dieser „Runtime-First“-Ansatz verkürzt Installationszyklen und gewährleistet vorhersehbare, interferenzfreie Performance in großskaligen LBE- und Live-Venue-Anwendungen.

Abstract

Complex venues (XR Training, sport stadia) within the global LBE market are increasingly expected to deliver immersive audio experiences that are precise, intelligible, and accurately positioned. These environments are no longer static installations but complex, acoustically challenging ecosystems.

According to market forecasts, the global LBE market is expected to grow to USD 23.34 billion by 2032, with an average annual growth rate of 20.9% (Fortune Business Insights, 2025). In Europe, the related immersive entertainment segment is projected to grow from USD 29.21 billion in 2024 to USD 86.93 billion by 2029 (Mordor Intelligence, 2025). The theme park sector alone is expected to reach a volume of USD 2.99 billion by 2031 (Persistence Market Research, 2025).

ApolloTwin addresses this by developing a robust Centralized Real-Time Core for software-defined hardware control. The project moves beyond pure simulation; it delivers the actual software stack that actively drives passive loudspeaker arrays through centralized beam steering, controls active augmented acoustics, and synchronizes haptic acoustic floors.

The core innovation is the Centralized Software-Defined Architecture which shifts complex signal processing from the loudspeaker into the Apollo Real-Time Core. This includes advanced features such as Beam Steering, Augmented Acoustics, and Feedback Suppression. This architecture allows the Auto-Calibration Logic to dynamically configure cost-efficient passive arrays for specific venues by using data from the Digital Twin. The consortium connects software innovation from atmoky with applied research from IEM and industrial hardware expertise from ITEC Tontechnik. ITEC provides the physical validation environment to prove that this PC-based control of passive hardware delivers high intelligibility and interference-free audio comparable to expensive DSP-based systems in real-world applications.

At its core, the technology is built on an integrated toolchain comprising:
- a modular system configuration and authoring environment for object-based spatial audio, augmented room control, and auto-calibration workflows,
- a low-latency runtime core optimized for active directivity control, spill minimization, and bass management across modular loudspeaker configurations,
- an acoustic digital twin enabling plausible real-time auralization of source directivity for interactive virtual walkthroughs, fully synchronized with visual simulation environments.

ApolloTwin enables precise real-time control of professional loudspeaker systems by combining a Digital Twin with a low-latency Runtime Engine. The system is designed to ensure acoustic accuracy and operational reliability in complex venues. The Digital Twin functions as a calibration and validation environment, allowing system integrators to pre-configure beam steering, bass management, and haptic floor behavior before any physical installation. During operation, the Runtime Engine actively drives modular loudspeaker arrays and acoustic floors, maintaining high Speech Transmission Index (STI) values and minimizing spill even in challenging architectural spaces. This “runtime-first” approach shortens installation cycles and ensures predictable, interference-free performance in large-scale LBE and live-venue deployments.

zurück