FFG Projektdatenbank

zurück

FLORIDA

Flexibles, teilautomatisiertes Analysesystem zur Auswertung von Videomassendaten

Projektbeschreibung

Mithilfe von FLORIDA soll ein flexibles, teilautomatisiertes System geschaffen werden, das die für die öffentliche Sicherheitsverwaltung zuständigen Behörden wie das Bundesamt für Verfassungsschutz und Terrorismusbekämpfung (BM.I.BVT) bei der Ermittlung, Beweisführung und Aufklärung nach Anschlägen unterstützt. Durch den Einsatz modernster Technologien wird das System die Arbeitsqualität und die Arbeitsbedingungen für die in diesem Umfeld beschäftigten Personen spürbar erleichtern, da die Recherche, Aufbereitung und Analyse von extrem umfangreichen und heterogenen Beständen an Audio- und Videodaten vereinfacht wird.
Die wichtigsten Entwicklungen im Projekt, um dies zu ermöglichen, sind: Die Schaffung einer skalierbaren Open-Source Plattform für forensische Video-Analysen in großem Umfang; die Definition von Schnittstellen, um verschiedenen (Video-)Programmen den Zugriff auf diese zu ermöglichen; die Entwicklung neuer Analysealgorithmen, sowie die Evaluierung des gesamten Projektes, gegen die Anforderungen der Projektpartner einerseits und gegen im Rahmen des Projektes erforschte rechtliche und ethische Rahmenbedingungen andererseits.
Die FLORIDA Plattform wird, durch ihre Private-Cloud Architektur, in der Lage sein bei der Aggregation und Normalisierung von Daten aus verschiedenen Quellen (Uploads von Zeugen, Material aus Videoüberwachung sowie Videos von Dritten) entsprechend der Datenmenge zu skalieren, kann also dynamisch instanziiert werden um große Mengen an Daten (tausende Stunden an Videomaterial) nach einem Terroranschlag zu verarbeiten.
Durch den im Projekt verfolgten Ansatz zur Interoperabilität werden andere Anwendungen in der Lage sein, die skalierbare Plattform zu nutzen, sowohl durch ein Query Interface für Inhalte und Metadaten, als auch durch den möglichen Einsatz von Plugins zur Nutzung neuer Komponenten und Analyse-Workflows. Dies wird durch ein Frontend, basierend auf der PKE AVASYS Plattform, gezeigt und evaluiert werden.
FLORIDA wird außerdem erforschen, ob, und wenn ja, wie, bereits existierende Algorithmen zur Videoanalyse parallelisiert und auf der skalierbaren Plattform eingesetzt werden können. Darüber hinaus werden neue Algorithmen entwickelt werden, die auf Audioanalyse (Charakterisierung, Ereignisdetektion, Synchronisation mehrerer Videos) und Objektverfolgung ausgelegt sind.
Wir werden darüber hinaus rechtliche und ethische Anforderungen erarbeiten, die – in Bezug auf EU- und österreichisches Recht – für die Entwicklung einer solchen Plattform zur forensischen Videoanalyse und der Nutzung von Daten von Augenzeugen zu beachten sind. Die Beachtung dieser ethischen und rechtlichen Rahmenbedingungen wird durch eine interne Evaluation überprüft, die sich sowohl auf die entwickelten Technologien als auch auf die Proof-of-Concept Implementierung erstreckt.
FLORIDA ist ein unabhängiges, österreichisches Projekt, gleichzeitig aber auch Teil eines bilateralen Antrages, welcher von zahlreichen Synergien mit dem deutschen Teilprojekt profitiert; diese sind im bilateralen Projektexposé aufgeführt.

Abstract

The FLORIDA project will support the development of a flexible, semi-automated video forensics system for public safety and law enforcement authorities, in particular the Austrian Federal Office for the Protection of the Constitution and Counterterrorism (BM.I.BVT), in the investigation, collection of evidence, and clearance of cases involving terrorist attacks. Through the application of advanced technologies developed within the project, the system will improve the efficiency and quality of work for investigators in this context because research, preparation, and analysis will be both simplified and accelerated for extremely large audiovideo data sets.
The key innovations of the project are the demonstration of a scalable open source platform for large-scale video forensics, the definition of interfaces that allow multiple video applications and components to make use of this platform, the development of new analysis algorithms, and the evaluation of the project results against stakeholder requirements and a researched legal and ethical framework.
The FLORIDA platform will be a private-cloud architecture that is capable of aggregating and normalizing multiple data sources (uploads from witnesses, camera arrays, and video files supplied through third parties) at scale, which means that the system can be dynamically instantiated to handle large loads (thousands of video hours) of material gathered after a terrorist attack.
The interoperability approach of the project will enable multiple applications to make use of the scalable platform, through query interfaces for content and metadata, as well as the ability to dynamically “plug in” new components and compose analysis workflows. This will be demonstrated using a front-end based on the PKE AVASYS application for the system and as the evaluation interface.
The project will explore how existing video analysis algorithms can be parallelized and deployed on our scalable computational platform. New algorithms will also be developed, focusing on the areas of audio analysis (characterisation, event detection, and multi-video synchronization) and object tracking.
We will research legal and ethical requirements for the development of a video forensics platform and the use of eyewitness data by analysing EU and Austrian privacy and data protection legal frameworks. We will also carry out an internal evaluation of our compliance with this legal and ethical framework with respect to the developed technology and the proof-of-concept demonstrator.
FLORIDA is a standalone Austrian effort, but is at the same time part of a bilateral proposal that benefits from numerous synergies with the German Sub-project, which are detailed in the bilateral project Exposé.

zurück