FFG Projektdatenbank

zurück

DOMINO

ML DevOps Methods for a Green and Safe EdgeAI Lifecycle

Projektbeschreibung

Edge-Computing bietet wesentliche Vorteile gegenüber traditionellen Cloud-basierten Lösungen, insbesondere in Bereichen wie Datenschutz, Sicherheit, End-to-End-Latenzen, Kosten und Energieeffizienz. Der Trend hin zu Edge AI, bei dem KI-Modelle näher an Sensoren und Aktoren auf ressourcenbeschränkten Geräten betrieben werden, treibt Innovationen voran. Laut einem Marktforschungsbericht wird erwartet, dass der Markt für Edge AI von 17,46 Milliarden USD im Jahr 2023 auf nahezu 62,93 Milliarden USD im Jahr 2030 erheblich wachsen wird. EdgeAI wird bereits seit geraumer Zeit untersucht, und es gibt ausgereifte Flows und Edge-Compute-Plattformen zur Integration von KI-Komponenten. Diese konzentrieren sich jedoch hauptsächlich auf den Implementierungsschritt (Ersteinrichtung) und nicht auf den gesamten Lebenszyklus und berücksichtigen nicht die zusätzlichen Anforderungen, welche bei industriellen und sicherheitskritischen Anwendungen auftreten. Eine ganzheitliche Betrachtung des KI-Lebenszyklus ist erforderlich, damit die österreichischen Kernindustrien in Bereichen wie Verkehr, Fertigung oder erneuerbare Energien EdgeAI-Lösungen in ihren Systemen einsetzen können.

Um diese Herausforderungen zu bewältigen, zielt das DOMINO-Projekt darauf ab, einen fortschrittlichen MLOps-Lebenszyklus für Edge AI zu schaffen, der vom DevOps-Zyklus in der Softwareentwicklung inspiriert ist. Jener betrachtet den gesamten Lebenszyklus, von der anfänglichen Entwicklung und Inbetriebnahme bis hin zur Überwachung, Bewertung und Aktualisierung. In der ersten Einführungsphase konzentriert sich DOMINO auch Anforderungen für industrielle und sicherheitskritische Anwendungen zu erfüllen, wie die Integration in IT-Umgebungen von Automatisierungssystemen und Sicherheitsnormen, die sich aus dem EU AI Act ergeben. Selbst wenn das System in der Anfangsphase alle Anforderungen erfüllt, können sich die Betriebsbedingungen und KI-Systeme im Laufe der Zeit verändern oder verschlechtern. Daher werden Methoden zur Überwachung der Funktionalität des KI-Systems untersucht. ML-Experten sind zwar an der Entwicklung beteiligt, aber im direkten Betrieb nicht mehr involviert, daher werden Methoden untersucht, um das Feedback von Bedienern und Nutzern, die keine KI-Experten sind, für die Bewertung von Edge-KI-Komponenten zu nutzen. Auf der Grundlage dieses Feedbacks wird zudem untersucht, wie das System durch gesammelte Daten verbessert werden kann, ohne dabei zu degradieren, z.B. durch das Vergessen von zuvor gelernten Informationen. Zu diesem Zweck bringt DOMINO Industrie- und Forschungspartner zusammen, um fortschrittliche Lösungen zu entwickeln, und wird die innovativen Methoden in drei Anwendungsfällen demonstrieren: Holzproduktion, Schienenverkehr und erneuerbare Energien (solar). Ziel des Projekts ist es, die Hürden für den Einsatz von KI in Edge-Geräten zu senken, die Einhaltung der EU-Vorschriften für KI in sicherheitskritischen Systemen zu gewährleisten und die Systemüberwachung in realen Umgebungen zu verbessern.

Durch den Fokus auf die Herausforderungen der Einführung von KI-Systemen „in freier Wildbahn“ wird DOMINO voraussichtlich die Wettbewerbsfähigkeit der österreichischen Industrie, oft „Hidden Champions“ in industriellen und sicherheitskritischen Bereichen, deutlich steigern. Zudem sind die ausgewählten Anwendungsfälle zentrale Bereiche der grünen Transformation, die durch den Einsatz von EdgeAI-Komponenten gefördert wird.

Abstract

Edge computing offers key advantages over traditional cloud-based solutions, particularly in areas such as privacy, safety, end-to-end latencies, cost, and energy efficiency. The trend toward Edge AI, which involves running artificial intelligence workloads closer to sensors and actuators on resource-constrained devices, is driving innovation. According to a market report, the Edge AI market is expected to grow significantly from USD 17.46 billion in 2023 to nearly USD 62.93 billion by 2030. EdgeAI has been studied already for quite some time and there exist mature flows and edge compute platforms to integrate AI components. Yet, these mainly focus on the deployment step (initial setup) and not the complete lifecycle of an edge solution and they do not consider additional requirements that arise in industrial and safety critical applications. A holistic view on the AI lifecycle is required to enable core Austrian industries in fields such as transportation, manufacturing or renewable energy to deploy EdgeAI solutions in their systems.

To address these challenges, the DOMINO project aims to create an advanced MLOps lifecycle for Edge AI, inspired by the DevOps cycle used in software development. This approach focuses on the entire lifecycle of Edge AI systems, from initial development and deployment to monitoring, evaluation and updating. In the initial deployment phase, DOMINO will focus on also addressing requirements for industrial and safety critical applications such as integration in IT environments of automation systems and safety norms derived from the EU AI Act. Even if the system fullfills all requirements in the initial deployment, operation conditions and AI systems may drift or degrade over time. Hence, DOMINO will also investigate methods to monitor the functionality of the AI system once it is deployed in the field. As ML Experts might be involved in the design of the AI components but not in their direct operation in the field, DOMINO will investigate methods to use non-ai-expert operator and user feedback for evaluating Edge AI components. Based on this feedback and the monitoring data, DOMINO will also investigate how the system can be improved by data collected in the field without “breaking the system”, e.g., due forgetting previously learned information.

For this, DOMINO brings together industry and research partners to develop advanced solutions and will demonstrate the innovative methods in three use cases: Wood production, rail transportation and renewable energy. Project goals are to lower the barriers to deploying AI on edge devices, ensure compliance with EU regulations for AI in safety-critical systems and improve system monitoring in real-world environments. Due to focusing in the challenges which arise from bringing AI systems “into the wild”, we expect that DOMINO will significantly improve the competitiveness of Austrian industry, that are often hidden champions in domains that need to address industrial and safety constraints. Additionally, the selected use cases are key areas for the green transformation to a sustainable society, hence, enabling them to improve the products in these fields with EdgeAI components will support this transformation.

zurück