FFG Projektdatenbank

zurück

BEHAVIOR

Behavioral Evaluation and Human Awareness in Vision and InteractiOn Research

Projektbeschreibung

Das BEHAVIOR-Projekt zielt darauf ab, ein generisches, domän-agnostisches Framework zur Modellierung und Analyse menschlichen Verhaltens, Interaktionen und Wahrnehmungen in dynamischen Umgebungen unter Verwendung von Computer Vision (CV) und Machine Learning (ML) zu entwickeln. Durch den Einsatz von Multi-View-Bildaufnahmen, Eye-Tracking-Daten und 3D-Szenenrekonstruktion soll ein intelligentes System geschaffen werden, das Szenen in Echtzeit versteht, ohne auf domänenspezifisches, Supervised-Training angewiesen zu sein.
Trotz Fortschritten in den Bereichen CV und KI sind bestehende Lösungen für Human-Object-Interaction (HOI), Multi-Object-Tracking (MOT) und unsupervised Objekt-Discovery in realen Anwendungen noch begrenzt. BEHAVIOR adressiert diese Herausforderungen durch die Integration und Weiterentwicklung modernster Methoden in den Bereichen unsupervised Objektdetektierung und Situationsanalyse. Das Projekt wird ein domänenunabhängiges Erkennungssystem entwickeln, das Objekte und Interaktionen dynamisch und ohne spezifisches Training erkennt und analysiert.
Das vorgeschlagene Framework hat ein breites Anwendungsspektrum in Schulungen und Trainings, medizinischen Simulationen, Mensch-Maschine-Interaktion und kognitiver Belastungsanalyse. Es ermöglicht automatisierte Arbeitsablauf-Erkennung, die Analyse der Einhaltung von Prozeduren und die Entwicklung assistiver KI-Systeme. Eine zentrale Innovation ist die Fusion von Low-Level-KI-Modellen zu einem ganzheitlichen High-Level-Verhaltenserkennungssystem, das Kontext, Interaktionen und Aufmerksamkeit in Echtzeit interpretiert.
Durch intensives Publikationsvorhaben, methodische Explorationen und experimentelle Validierung wird dieses Forschungsvorhaben entscheidend zur nächsten Generation KI-gestützter Verhaltensanalyse beitragen. Die Ergebnisse werden die Entwicklung menschzentrierter KI, immersiver Trainingssysteme und intuitiver Entscheidungsunterstützungssysteme in verschiedenen Anwendungsbereichen maßgeblich vorantreiben.

Abstract

The BEHAVIOR project aims to develop a generic, unsupervised framework for modeling and understanding human behavior, interactions, and perception in dynamic environments using computer vision (CV) and machine learning (ML). By leveraging multi-view imaging, eye-tracking data, and 3D scene reconstruction, this research seeks to create an intelligent system capable of real-time scene understanding without domain-specific supervised training.
Despite advancements in CV and AI, current solutions for human-object interaction (HOI), multi-object tracking (MOT), and unsupervised object discovery remain limited in real-world applicability. BEHAVIOR addresses these challenges by integrating and enhancing state-of-the-art methodologies in unsupervised object detection and situation recognition. The project will develop a domain-independent detection system that recognizes objects and interactions on-the-fly, bridging gaps in AI-based human behavior modeling.
The proposed framework will have broad applications in industrial training, medical simulations, human-computer interaction and offering insights into human workflow automation, procedural adherence, and assistive AI systems. A key innovation is the fusion of low-level AI models into a holistic high-level behavior interpretation system, enabling automated workflow recognition and context-aware interaction analysis.
The research is strategically linked with ongoing projects (CAPTCHA and SIMplifEYE) to ensure continuous development and real-world applicability. Through rigorous dissemination undertakings, method exploration, and experimental validation, this research will contribute to next-generation AI-driven behavior analysis, culminating in a scalable, real-world-ready methodology-framework. The project's outcomes will significantly enhance human-aware computing, immersive training systems, and intuitive AI-driven decision-making across diverse domains.

zurück