FFG Projektdatenbank

zurück

Bundes-LLM

R&D service: Scientific preparation of a federal large-scale language model

Projektbeschreibung

Die Studie befasst sich mit technologischen und gesellschaftlichen Aspekten (rechtlich, ethisch, ökologisch) von Implementierungsvarianten eines Bundes-LLM. Diese sind: (i) Training und Anpassung eines Basis-LLMs, (ii) Feinabstimmung bestehender LLMs (Modelle Dritter oder das eigene Basismodell) auf die Anwendungsbedürfnisse einzelner Stakeholder, (iii) LLM-basierte Plattformen wie RAG-Systeme und deren Anpassung an die Anwendungsbedürfnisse einzelner Stakeholder, (iv) Sovereignty-First-Implementierungen, die vollständig auf einer On-Premises-Infrastruktur basieren, (v) Hybride Flexibilitätsmodelle, bei denen sensible Daten vor Ort verarbeitet werden, während öffentliche Dienste über eine sichere Cloud-Umgebung bereitgestellt werden, (vi) Ökosystempartnerschaften, die auf der Zusammenarbeit mit europäischen KI-Initiativen beruhen, um Ressourcen und Fachwissen gemeinsam zu nutzen, die F&E-Kosten zu senken und den Wissenstransfer zu beschleunigen.

Das Ergebnis der Studie soll den Entscheidungsträgern eine solide, rechtssichere und ethische Grundlage für die Entwicklung und den Einsatz einer Bundes-LLM für die öffentliche Verwaltung bieten, wobei auch das Potenzial für Anwendungen in Industrie und Unternehmen berücksichtigt wird. Die Studie soll Schlüsselfragen klären hinsichtlich (i) des professionellen Requirements Engineering für unterschiedliche Nutzergruppen und Usecases, (ii) Datensicherheit und Technologiesouveränität durch rechtliche, nachhaltige und ethische Integration, (iii) Projektentwicklung, Projektmanagement und Betrieb im öffentlichen Interesse, (iv) Kosteneffizienz durch Open-Source-Komponenten. Es werden Roadmaps für die verschiedenen Anwendungsfälle und Empfehlungen für die politische Umsetzung vorgelegt.

Abstract

The study addresses technological and societal aspects (legal, ethical and ecological) of various cases of the implementation of a Bundes-LLM, including: (i) foundation model training and adaptation, (ii) fine-tuning of existing LLMs (third party models or one's own base model) to the application needs of individual stakeholders, (iii) LLM-based platforms such as RAG systems, and their adaptation to the application needs of individual stakeholders, (iv) Sovereignty-First Implementations entirely based on-premises infrastructure, with all data processed and stored within national borders, (v) Hybrid Flexibility Models where sensitive data are processed on-premises, while public services are delivered through a secure cloud environment, (vi) Ecosystem Partnerships based on the collaboration with European AI initiatives to share resources and expertise, reducing R&D costs and accelerating capability transfer.

The outcome of the study is designed to provide a robust, lawful and ethical foundation for decision-makers regarding the development and deployment of a Bundes-LLM for public administration, also taking into account the potential for applications in industry and businesses. The study will clarify key questions and inform strategic choices regarding (i) professional requirements engineering for diverse user groups, (ii) ensuring data and technology sovereignty through legal, sustainable and ethical integration, (iii) project development, management, and operation in the public interest, (iv) cost efficiency through opensource components. Roadmaps for the different usecases and policy implementation recommendations are provided.

zurück