RE:Color
Effiziente Färbung von Filmen in Kinoqualität basierend auf neuartigen Methoden des Maschinellen Lernens
| Programm / Ausschreibung | Bridge, Brückenschlagprogramm, 30. Ausschreibung Bridge 1 | Status | abgeschlossen |
|---|---|---|---|
| Projektstart | 01.01.2020 | Projektende | 31.12.2022 |
| Zeitraum | 2020 - 2022 | Projektlaufzeit | 36 Monate |
| Keywords | Kolorierung, Film, Kinoqualität, Künstliche Intelligenz, Deep Learning | ||
Projektbeschreibung
Die Idee des Innovationsprojekts RE:Color zielt auf die große Menge von Schwarzweißfilmen (SW), die in den Archiven dieser Welt gespeichert sind. Heute werden diese historischen Kulturgüter durch Digitalisierung vor dem Verfall bewahrt und (manchmal) durch digitale Restaurierung verbessert. Die Vermarktung solcher SW-Filme ist jedoch aufgrund der eingeschränkten öffentlichen Akzeptanz schwierig.
Obwohl die ersten Versuche, SW-Filme zu kolorieren, in den 1970er und 1980er Jahren unternommen wurden, waren bis in die letzten Jahre nur geringe Fortschritte zu verzeichnen. Hauptgrund war der enorme Aufwand und die damit verbundenen Kosten bei manuellen oder halbautomatischen Kolorierungstechniken. Der Aufstieg der künstlichen Intelligenz und des maschinellen Lernens führte in den letzten Jahren zu einer großen Anzahl wissenschaftlicher Veröffentlichungen. Die praktische Verwendbarkeit im realen industriellen Umfeld ist jedoch noch nicht bewiesen. Bisher gibt es keine verfügbare kommerzielle Standardlösung.
Das vorgeschlagene Projekt RE:Color verfolgt einen multilateralen Ansatz und versucht, neuartige wissenschaftliche Ansätze in einer einzigen Umgebung zusammenzuführen. Das Ergebnis ist eine integrierte Softwareanwendung, die interaktive und automatisierte Kolorierungstechniken mit Deep-Learning-Technologien kombiniert, um einen überwiegend automatischen, aber dennoch vollständig benutzergesteuerten Kolorierungsprozess zu erreichen. Auf diese Weise gewährleistet die Anwendung korrekte Farben und ein natürliches Erscheinungsbild, das auf historischer Basis begründet ist. Diese zentrale Anforderung kann nur erreicht werden, wenn die neuronalen selbstlernenden Netzwerke gut trainiert sind und durch Benutzerinteraktion dynamisch beeinflusst werden können.
Die Hauptinnovation des geplanten Projekts besteht in der Anpassung verschiedener akademischer Entwicklungen und ihrer Wiederverwendung und Bündelung in einem einzigen Arbeitsablauf, wodurch effiziente und vollständig benutzergesteuerte Kolorierungsprozesse auf der Grundlage von historisch authentischen Farben und Modellen ermöglicht werden.
Der Erfolg einer solchen Lösung auf dem Markt ist aufgrund der Effizienzsteigerung sehr wahrscheinlich.
Abstract
The idea of the innovation project RE:Color addresses the large amount of black and white (b/w) films stored in the archives of this world. Today, these historical cultural assets are preserved from decay by digitization and (sometimes) improved by digital restoration. However, the marketing of such b/w films is difficult due to limited public acceptance.
Although the first efforts in coloring b/w films date back to the 1970s and 1980s, there was little progress on the topic until the very last years. Main reason was the tremendous effort and related costs in manual or semi-automated colorization techniques. The rise of most recent artificial intelligence and deep learning technologies lead to a high number of scientific publications. However, the practical usability of such publications in real industrial environment has not been proved yet. So far there is no single commercial off-the-shelf solution available.
The proposed project RE:Color uses a multilateral approach and tries to merge brand-new scientific approaches into one singe environment. The result is an integrated software application that combines interactive and automated colorization techniques with deep learning technologies in order to reach a predominantly automatic but still full user-controlled colorization process. This central requirement can only be achieved, if the neuronal self-learning networks are well trained and can be dynamically influenced by user interaction.
The main innovation of the planned project lies in the adaptation of different academic developments and their re-use and bundling into a single workflow, allowing efficient and fully user controlled colorization processes, based on historic proven colors and models.
The success of such a solution on the market is highly probable due to the increase in efficiency.