FFG Projektdatenbank

zurück

rigor

Towards reproducible, transparent, and valid AI methods for buildings and cities

Projektbeschreibung

Criticism is the life blood of science. Spätestens mit dem Aufkommen großer Sprachmodelle hat das Thema KI auch breite öffentliche Aufmerksamkeit erlangt. Unabhängig vom tatsächlichen transformativen Potenzial von KI in spezifischen Bereichen ist es entscheidend, laufende Entwicklungen möglichst objektiv bewerten zu können.

Das Projekt rigor zielt auf eine kritische, wissenschaftlich fundierte Bewertung des tatsächlichen Mehrwerts von KI-Anwendungen im Bereich Gebäude, Quartiere und Städte. Im Fokus stehen zwei zentrale Fragen:

(1) Erreichen KI-Methoden wie Deep Learning oder LLM-basierte Ansätze im Bereich von Gebäuden, Quartieren und Städten signifikant bessere Ergebnisse als einfache, transparente Baseline-Modelle? Diese Frage wird durch einen systematischen Vergleich komplexer KI-Methoden mit einfachen Baseline-Modellen beantwortet. Grundlage sind frei verfügbare Publikationen (Code und Daten), die anhand etablierter Metriken und Signifikanztests ausgewertet werden.

(2) Inwieweit erfüllen aktuelle KI-gestützte Anwendungen im Bereich von Gebäuden, Quartieren und Städten wissenschaftliche Standards hinsichtlich Reproduzierbarkeit und methodischer Transparenz? Zur Beantwortung dieser Frage werden wissenschaftliche Publikationen der letzten zehn Jahre auf Basis in der Literatur etablierter Kriterien systematisch analysiert. Ergänzend identifiziert ein Mixed-Methods-Ansatz mit Stakeholdern zentrale Barrieren wie mangelnde Anreize, fehlendes Wissen, oder unklare rechtliche Rahmenbedingungen.

Das Projektkonsortium deckt das gesamte Kontinuum von der KI-Grundlagenforschung (TU Graz, Machine Learning and Neural Computation) bis zu domänenspezifischen KI-Anwendungsforschung in Gebäuden, Quartieren und Städten (TU Wien, Intelligent Systems and Buildings) ab. Ergänzt wird dies durch das Innovationslabor Digital findet Stadt, das eine enge Anbindung an industrielle und politische Stakeholder sicherstellt.

Abstract

Criticism is the life blood of science. With the advent of large language models, the topic of artificial intelligence has gained widespread public attention. Regardless of the actual transformative potential of AI in specific domains, it is essential to assess ongoing developments as objectively as possible.

The project rigor aims to provide a critical, evidence-based evaluation of the actual added value of AI applications in the context of buildings, districts, and cities. It focuses on two central questions:

(1) Do AI methods such as deep learning or LLM-based approaches deliver significantly better results in the context of buildings, districts, and cities compared to simple, transparent baseline models? This question is addressed through a systematic comparison of complex AI methods with simple baseline models. The analysis is based on openly available publications (code and data), evaluated using established metrics and statistical significance tests.

(2) To what extent do current AI-based applications in buildings, neighborhoods, and cities meet scientific standards for reproducibility and methodological transparency? To answer this, scientific publications from the past ten years are systematically analyzed based on criteria established in the academic literature. In addition, a mixed-methods approach involving stakeholders identifies key barriers such as lack of incentives, insufficient knowledge, or unclear legal frameworks.

The project consortium covers the full spectrum from fundamental AI research (TU Graz, Machine Learning and Neural Computation) to domain-specific AI applications in buildings, districts, and cities (TU Wien, Intelligent Systems and Buildings). This is complemented by the innovation Lab Digital findet Stadt, which ensures strong integration with industrial and policy stakeholders.

zurück