FFG Projektdatenbank

zurück

LLMQDA

A Standard to Integrate Large Language Models into Qualitative Data Analysis of Political Phenomena (LLMQDA)

Projektbeschreibung

Das LLMQDA-Projekt zielt darauf ab, große Sprachmodelle (LLMs) für die qualitative Datenanalyse (QDA) politischer Phänomene zu nutzen, indem die mit dieser Innovation verbundenen Risiken durch einen Community-Standard für die zuverlässige und valide Integration solcher Modelle in Analysen gemindert werden. Traditionelle QDA-Methoden sind zeit- und ressourcenintensiv, was ihre Skalierbarkeit und Effizienz oft einschränkt. LLMs bieten eine Lösung für dieses Problem, doch ihre derzeitige Nutzung birgt Risiken hinsichtlich ihrer Zuverlässigkeit, Validität und ethischen Umsetzung. Aufbauend auf dem MULTIREP-Projekt, das LLMs erfolgreich zur Optimierung der qualitativen Datenverarbeitung einsetzte, sowie auf dem Engagement der Community, stellt LLMQDA eine wichtige Ressource für QDA-Anwender dar und fördert die verantwortungsvolle und rigorose Anwendung von LLMs in der qualitativen Forschung. Das Projekt wird drei zentrale Ergebnisse hervorbringen: (1) Qualitätsstandards zur Bewertung der Validität, Zuverlässigkeit und ethischen Konformität von LLM-basierten Tools für die QDA; (2) ein Qualitätssiegel, das die Einhaltung dieser Standards bescheinigt und das Vertrauen sowie die Akzeptanz in akademischen und beruflichen Bereichen fördert; und (3) ein Open-Science-Framework, das diese Standards über eine Website, Bewertungsformulare und ein Register zugänglich macht und von der Community verwaltet wird. Diese Ergebnisse werden im Rahmen eines kooperativen, interdisziplinären Ansatzes unter Einbeziehung der Fachgemeinschaft erarbeitet. Eine Expertenbefragung und eine Literaturrecherche werden eine Expertengruppe bei der Ausarbeitung, Validierung und Umsetzung der Standards unterstützen. Die gemeinsamen Standards werden Innovation, Skalierbarkeit und Verbreitung von LLM-basierter QDA in der Politikwissenschaft erleichtern, indem sie den Nutzern und Zielgruppen die Vertrauenswürdigkeit der Tools signalisieren. Die Open-Science-Prinzipien des Projekts stellen sicher, dass seine Innovationen gemäß den FAIR-Normen zugänglich, nachhaltig und wirkungsvoll sind und fördern eine Kultur des Wissensaustauschs und der kontinuierlichen Verbesserung. LLMQDA strebt die Entwicklung von Benchmarks für den verantwortungsvollen Einsatz von LLMs in qualitativen Analysen der politischen Welt an.

Abstract

The LLMQDA project aims to leverage Large Language Models (LLMs) for Qualitative Data Analysis (QDA) of political phenomena by reducing the risks associated with this innovation through a community standard for how to reliably and validly integrate such models into analysis. Traditional QDA methods are time-intensive and resource-demanding, often limiting their scalability and efficiency. LLMs provide a solution to this problem but their current use comes with risks concerning their reliability, validity and ethical implementation. Building on the MULTIREP project, which successfully leveraged LLMs to streamline qualitative data processing, and on community engagement, LLMQDA provides a key resource for QDA users, enhancing the responsible and rigorous application of LLMs in qualitative research. The project will yield three key deliverables: (1) quality standards to assess the validity, reliability, and ethical compliance of LLM-based tools for QDA; (2) a Quality Seal certifying adherence to these standards, promoting trust and adoption across academic and professional domains; and (3) an open science framework making these standards accessible and community-managed, through a website, assessment forms, and a registry. These deliverables will be developed through a collaborative, intradisciplinary approach relying on community engagement. An expert survey and literature review will support a group of experts in the standards’ elaboration, validation and implementation. The common standards will ease innovation, scalability and dissemination of LLM-based QDA in political science by signalling the trustworthiness of tools to users and audiences. The project’s open science principles ensure that its innovation is accessible, sustainable, and impactful, according to FAIR norms, fostering a culture of shared knowledge and continuous improvement. LLMQDA aspires to develop the benchmarks for the responsible use of LLMs in qualitative analyses of the political world.

zurück