Hologram App
Live Hologram Teleportation
| Programm / Ausschreibung | IWI, IWI, Basisprogramm Ausschreibung 2023 | Status | laufend |
|---|---|---|---|
| Projektstart | 02.01.2023 | Projektende | 29.12.2023 |
| Zeitraum | 2023 - 2023 | Projektlaufzeit | 12 Monate |
| Keywords | |||
Projektbeschreibung
Zoom, Skype, Teams und diverse andere Calls sind heutzutage sowohl bei Besprechungen als auch bei diversen Webinaren üblich.
Ein Nachteil ist aber nachwievor, dass die andere Person nur über einen Bildschirm wahrgenommen werden kann - und das als 2D Bild.
Mittlerweise ist der Begriff Metaverse in aller Munde, jedoch um in diese virtuelle Welt einzutauchen sind derzeit noch die passenden virtuellen Brillen nötig und das für jede Person extra.
Deshalb haben wir uns überlegt, wie eine Kommunikation, sei es für Businessmeetings, Produktpräsentationen, Events und Veranstaltungen dennoch ein Gefühl der virtuellen Präsenz bei dem Publikum vermitteln könnte.
Um dieses Produkt bzw. Lösung zu entwickeln sind drei wesentlich Abläufe nötig: Kontribution, Transformation und Distribution.
Kontribution:
Am Ort von dem Vortragenden ist es nötig, dass diese Person mit einer möglichst guten Kamera und hohen Auflösung erfasst wird. Zusätzlich muss das Ton ebenfalls synchron zum Bild aufgenommen werden. Da diese Bild- und Tondaten sehr schnell in die Cloud transportiert werden müssen, ist es nötig einerseits diese Daten zu enkodieren, also die Datenmenge zu reduzieren, und dann über eine Internetverbindung rasch und möglichst fehlerfrei in die Cloud zu transportieren.
Die heutigen Smartphones sind in der Lage, alle diese Anforderungen zu erfüllen. Diese besitzen eine sehr gute Kamera, verfügen über Hardwarebeschleunigter Enkodiermöglichkeit und haben eine Anbindung an das Internet über WiFi, LTE oder 5G.
Zusätzlich lassen sich diese Funktionen auch durch eine eigens entwickelte App verwenden.
Transformation:
Kommen diese Bild- und Tondaten enkodiert in der Cloud an, empfängt diese unser System. Unser System muss nun die Person mit Hilfe der Leistung von einer GPU freistellen. Freistellen bedeutet, dass die Objekte und Hintergründe on the fly subtrahiert werden müssen.
Hier werden zwei Verfahren angewandt werden. Einerseits durch Chromakeying andererseits durch Person Segmentation.
Distribution:
Wenn nun das aufbereitete Video verfügbar ist, muss dieses noch zu einem Endgerät geschickt werden. Dadurch wird der Stream enkodiert und über das Internet zur empfangenden Seite geschickt - das kann zum Beispiel ein Tablet, Laptop oder MikroPC sein.
Auf alle Fälle ist es beim Publikum nötig, dass dort eine Holopyramide aufgebaut ist. Das Prinzip einer Holopyramide ist es, den Eindruck zu erwecken, dass ein Gegenstand oder Person im Raum steht. Das wird mit Hilfe einer optischen Täuschung erreicht.
Die große Schwierigkeit und wo viel Forschungsarbeit geleistet werden muss, wird die Geschwindigkeit und Qualität sein.
Denn einerseits muss das Quellbild mit einer guten Qualität und Auflösung aufgenommen werden und dieses in die Cloud zur weiteren Verarbeitung geschickt werden. Die Qualität muss die der TV Sendeanstalten sein, denn sonst kommt der Effekt der virtuellen holografischen Präsenz nicht an. In der Cloud muss aber in einer Mindestgeschwindigkeit von 30FPS (das sind 33 Millisekunden pro Bild) das Freistellen und grafische Aufbereiten stattfinden. Das fertige Bild darf also von der Quelle bis zur Darstellung auf der Holopyramide nicht mehr als 1,5 Sekunden brauchen, um als Live zu gelten.