FFG Projektdatenbank

zurück

AmigaAI Legal LLM

Development of the first Austrian Legal LLM

Projektbeschreibung

Motiviert durch die Einschränkungen und Herausforderungen, die durch den EU AI Act aufgeworfen werden, einschließlich strenger Compliance-Anforderungen, Nachhaltigkeitsbedenken sowie dem Bedarf an transparenter und vertrauenswürdiger KI, zielt dieses Projekt darauf ab, signifikante Lücken in der aktuellen KI-Landschaft zu schließen. Mit Fokus auf den Rechtsbereich ist das Hauptziel des Projekts, AmigaAI, ein juristisches LLM zu schaffen, das den Zugang zum Recht für die Gesellschaft erheblich verbessert und die rechtlichen Prozesse für Fachleute optimiert. Mit der vielfältigen Expertise seiner Konsortiumsmitglieder - die rechtliches, psychologisches und technisches Fachwissen kombinieren - ist das Projekt gut positioniert, um ein spezialisiertes LLM zu entwickeln, das den spezifischen Anforderungen des Rechtsfeldes entspricht. Darüber hinaus schafft das Projekt auch einen Rahmen für die Entwicklung von domänenspezifischen LLMs, die mit der Hochrisikokategorie des Aktes konform sind. Dies soll es anderen Unternehmen, insbesondere KMUs in Österreich, ermöglichen, die Einschränkungen des Aktes zu überwinden und ihre eigenen domänenspezifischen Modelle zu entwickeln.
Herausforderungen bezüglich des hohen Energieverbrauchs bei der Modellentwicklung und die Notwendigkeit transparenter, erklärbarer und vertrauenswürdiger KI-Lösungen werden durch die Verfolgung eines neuartigen Ansatzes zur Entwicklung domänenspezifischer LLMs adressiert und heben den Innovationsgehalt des Projekts hervor. Durch die Nutzung innovativer Techniken wie ETA-DACP und Blockexpansion für kontinuierliches Pre-Training, sowie die Verwendung des neuartigen Konzepts der Society of Minds (SoM), kann der Energieverbrauch und die damit einhergehenden Entwicklungskosten deutlich gesenkt werden. Gleichzeitig erhöht diese Herangehensweise die Erklärbarkeit des Modells erheblich. Diese Innovationen tragen auch dazu bei, transparente, nachhaltige und vertrauenswürdige KI-Entwicklung innerhalb der Europäischen Union voranzutreiben.
Insgesamt wird der Erfolg des Projekts bedeutende Vorteile für die Wissenschaft, Rechtsfachleute, KMUs und die Gesellschaft bringen.

Abstract

Motivated by the constraints and limitations posed by the EU AI Act, including stringent compliance requirements, sustainability concerns, and the need for transparent and trustworthy AI, this project seeks to address significant gaps in the current AI landscape. Focusing on the legal domain, the project's main aim is to create AmigaAI a Legal LLM that significantly improves legal access for individuals and streamlines legal processes of professionals. With the diverse expertise of its consortium members - combining legal, psychological, and technical expertise - the project is well-positioned to develop a specialized LLM that meets the specific demands of the legal field. Moreover, the project also creates a framework for developing EU AI Act-compliant domain-specific LLMs in the high-risk category, which should empower other companies, especially SMEs in Austria, to overcome the Act’s limitations and to create their own domain-specific models.
Challenges regarding high energy consumption in model training and the need for transparent, explainable, and trustworthy AI solutions are tackled by pursuing a novel approach to domain-specific LLM development, highlighting the project’s innovation content. Leveraging innovative techniques like ETA-DACP and block expansion for continual pre-training, as well as the novel Society of Minds (SoM) concept, the project reduces energy usage and costs and increases the explainability of the model’s outputs, respectively. These innovations also contribute to achieving the broader goals of fostering transparent, sustainable, and trustworthy AI development within the European Union.
Overall, the project's success will result in significant benefits for academia, legal professionals, SMEs, and the society as a whole.

zurück