FFG Projektdatenbank

zurück

5G-LIVELY

5G-Ultra Low Latency Live Video Delivery

Projektbeschreibung

Durch die Entwicklung dieser Low-Latency-Video-Applikation und des dafür speziell optimierten 5G-Mobilfunknetzes ergeben sich erstmals die Möglichkeiten für Zuschauer*innen bei Veranstaltungen nicht nur das Geschehen in der Realität zu verfolgen, sondern übergangslos wirklich „live“ ohne störende Verzögerung auf andere Perspektiven auf ihren Smartphones zu wechseln und so ein noch direkteres Erlebnis zu genießen.
Von der Aufnahme bis zur Ausstrahlung eines digitalen Live-Videos am Gerät des Zuschauers und der Zuschauerin passiert ein Videosignal eine Vielzahl von Verarbeitungs- und Übertragungsschritten. Jeder dieser Schritte verzögert die Auslieferung des Live-Videos weiter. In der klassischen auf Rundfunk ausgerichteten Videoproduktion summieren sich diese Ende-zu-Ende-Verzögerungen typischerweise auf insgesamt einige zehn Sekunden. Hingegen, bei der Ausstrahlung eines Live-Videos direkt bei einer Veranstaltung, beispielsweise auf Videowalls oder Second-Screens auf Smartphones der Veranstaltungsbesucher*innen selbst, zielt man eigentlich auf eine nicht mehr (als störend) wahrnehmbare zeitliche Verzögerung ab.
Durch die in der Regel fehlende Möglichkeit des Fernsehzuschauers und der Fernsehzuschauerin das Geschehen und Videoausstrahlung direkt gleichzeitig zu sehen , kann so ohne Reduzierung des Fernseherlebnisses die Qualität und Stabilität der Übertragung auf Kosten der Synchronizität erhöht werden. Dies geschieht zum einen mit großen Block- und Interleaverlängen zur Fehlerkorrektur in der Übertragung (bei klassischem Rundfunk), als auch mit langen Video-Puffern (bei Streaming über instabile Internetverbindungen). Auch auf hohe Effizienz optimiertes Video-Encoding fügt eine signifikante Verzögerung hinzu.
All diese verzögernden Verarbeitungsschritte können bei Ausstrahlung des Live-Videos direkt bei der Veranstaltung nicht oder nur rudimentär eingesetzt werden. Darunter leiden dann sowohl Qualität als auch Stabilität der Übertragung aufgrund der Ineffizienz der Übertragung müssen außerdem teure direkte Übertragungswege geschaffen werden oder eine Übertragung ist in der angepeilten Qualität gar nicht möglich (etwa Second-Screens auf Smartphones der Veranstaltungsbesucher*innen selbst).

Große Fortschritte im Bereich der Video-Encodierung, die einen gezielten Trade-Off zwischen Effizienz und Coding-Verzögerung erlaubt als auch die zunehmende Verfügbarkeit hoch performanter und stabiler 5G-Mobilfunknetze ermöglichen die Entwicklung bisher nicht umsetzbarer neuartiger Anwendungen, wie Live-Second-Screens auf Smartphones der Veranstaltungsbesucher*innen.
In diesem Projekt wird eine fein abgestimmte Kette von Videoaufnahme über Übertragung bis Videoauslieferung am Endgerät entwickelt. Besonders im Fokus stehen dabei die Optimierung des Video Encodings und Decodings auf niedrige Latenz und die speziell darauf parametrisierte 5G-Mobilfunkumgebung zur Ermöglichung kleiner Puffer. Es wird eine 5G-Mobilfunkumgebung entwickelt, welche eine auf die Videoauslieferung abgestimmte sehr stabile Verbindung mit ebenfalls sehr niedriger Verzögerung garantiert. Features aus 5G Technologien wie insbesondere 5G ultra reliable low latency communications (5G-URLLC) und 5G guaranteed bitrate (5G-GBR) sind Schlüsselfaktoren zur Erreichung dieses Ziels.
Diese fein abgestimmte Verarbeitungskette wird sowohl in einer 5G-Laborumgebung als auch bereits bei einer echten Veranstaltung für unterschiedliche Szenarien entwickelt und getestet, und später im realen Pilotbetrieb erprobt. Als Referenzveranstaltung wird das eSports Gaming Festival „LEVEL UP“ des Messezentrum Salzburg herangezogen; insbesondere aufgrund der inhärenten Bedürfnisse nach niedrigen Latenzen zur synchronen Darstellung des Gameplays für das Publikum, wird diese Veranstaltung bereits während der Anforderungsanalyse begleitet. Aus den so gewonnen Erkenntnissen kann die Anwendung entwickelt werden und beim „LEVEL UP“ Festival im Folgejahr unter ähnlichen Gegebenheiten getestet werden.
Für den weiteren Pilotbetrieb kommen insbesondere eSports- und Sportveranstaltungen in Frage, da hier die erreichten niedrigen Latenzen besonders anschaulich demonstriert werden können.

In diesem Projekt wird eine Anwendung entwickelt, die eine Ausstrahlung – mit einer nicht mehr (als störend) wahrnehmbaren zeitlichen Verzögerung – eines Live-Videos auf Second-Screens auf 5G-Smartphones der Veranstaltungsbesucher*innen selbst, ermöglicht. Diese Anwendung erfordert das präzise Ineinandergreifen entlang der kompletten Videoverarbeitungs- und –übertragungskette. Durch diese inhärente Notwendigkeit wird ein Wissenstransfer zwischen Anwendungsentwickler und technologiebereitstellenden 5G-Netzbetreiber sichergestellt. Die Demonstration, bereits in frühen Entwicklungsschritten, beim eSports Gaming Festival „LEVEL UP“ des Messezentrum Salzburg, macht dieses Vorhaben einer breiten Öffentlichkeit bekannt. Es wird außerdem ein Best-Practice-Parameterset publiziert, mit welchem potentielle Anwendungsbereitsteller und 5G-Netzbetreiber Low-Latency Anwendungen realisieren können. Dadurch soll sowohl die Nachfrage nach solchen Gigabitanwendungen stimuliert als auch ein Anreiz für die Netzbetreiber geschaffen werden, diese Anwendungen technisch erst zu ermöglichen.

Abstract

The development of this low-latency video application and the specially optimized 5G mobile network will for the first time enable spectators at events not only to follow the events in reality, but also to switch to other perspectives on their smartphones without any disruptive delay and thus enjoy an even more immersive experience. From recording to broadcasting a live digital video on the viewer's device, a video signal passes through a multitude of processing and transmission steps. Each of these steps further delays the delivery of the live video. In traditional broadcast-oriented video production, these end-to-end delays typically add up to tens of seconds. In contrast, when broadcasting a live video directly at an event, for example on video walls or second screens on smartphones of the event visitors themselves, one actually aims at a time delay that is no longer perceivable (as disturbing).
Due to the usually missing possibility of the TV viewer to see the event and the video broadcast directly at the same time, the quality and stability of the transmission can be increased at the expense of synchronicity without reducing the TV experience. This can be achieved by using large block and interleaver lengths for error correction in the transmission (for classical broadcasting), as well as long video buffers (for streaming over unstable Internet connections). Video encoding optimized for high efficiency also adds significant delay.
All these delaying processing steps cannot be used, or can only be used in a rudimentary way, when the live video is broadcast directly at the event. Due to the inefficiency of the transmission, expensive direct transmission paths must also be created or a transmission is not even possible in the targeted quality (e.g. second screens on smartphones of the event visitors themselves).

Major advances in video encoding, which allow a targeted trade-off between efficiency and coding delay, as well as the increasing availability of high-performance and stable 5G mobile networks enable the development of previously unfeasible novel applications, such as live second screens on smartphones of event visitors.
In this project, a finely tuned chain from video recording to transmission to video delivery to the end device is being developed. Particular focus will be placed on optimizing video encoding and decoding for low latency and the 5G mobile environment specifically parameterized to enable small buffers. A 5G mobile environment will be developed that guarantees a very stable connection optimized for video delivery and achieves also very low delay. Features from 5G technologies such as in particular 5G ultra reliable low latency communications (5G-URLLC) and 5G guaranteed bitrate (5G-GBR) are key factors to achieve this goal.
This fine-tuned processing chain will be developed and tested both in a 5G lab environment and already at a real event for different scenarios, and later tested in real pilot operations. The eSports Gaming Festival "LEVEL UP" of the Messezentrum Salzburg is used as a reference event; especially due to the inherent needs for low latencies for synchronous presentation of gameplay to the audience, this event is already accompanied during the requirements analysis. From the knowledge gained in this way, the application can be developed and tested under similar conditions at the "LEVEL UP" festival in the following year.
For further pilot operation, eSports and sporting events in particular come into question, as the low latencies achieved can be demonstrated particularly vividly here.

In this project, an application is being developed that enables broadcasting - with a time delay that is no longer perceivable (as disturbing) - of a live video on second screens on 5G smartphones of the event visitors themselves. This application requires precise meshing along the complete video processing and transmission chain. This inherent need ensures knowledge transfer between application developers and technology-providing 5G network operators. The demonstration, already in early development stages, at the eSports Gaming Festival "LEVEL UP" of the Messezentrum Salzburg, makes this project known to a broad public. A best practice parameter set will also be published, with which potential application providers and 5G network operators can realize low-latency applications. This is intended both to stimulate demand for such gigabit applications and to create an incentive for network operators to make these applications technically possible in the first place.

zurück