FFG Projektdatenbank

zurück

EvAALuation2

Entwicklung von Messinstrumenten für den Wirkungsnachweis von AAL Lösungen

Projektbeschreibung

Sowohl auf nationaler als auch internationaler Ebene konnte in den letzten Jahren erreicht werden, dass die Entwicklung altersgerechter Assistenzsysteme massiv voranschreitet. AAL-Produkte und -Lösungen sollen den Alltag von älteren Menschen unterstützen und adressieren eine Vielzahl von Aspekten wie Gesundheit, Pflege, Mobilität, aber auch Themen wie soziale Interaktion oder Arbeit. Das Interesse an der Umsetzung solcher Lösungen ist groß, jedoch zeigt die Praxis auch, dass die Nutzung von AAL-Lösungen abseits von Pilotanwendungen oftmals unzureichend verifiziert wurde. Auch ist bisher eine Vergleichbarkeit von Ergebnissen kaum möglich, da oftmals kein einheitliches Verständnis über die zu messenden Konstrukte besteht.
Daraus ergibt sich der Bedarf an geeigneten Messinstrumenten und Methoden, die es nicht nur erlauben AAL-Produkte und -Lösungen unter Einbeziehung der subjektiven, institutionellen und gesellschaftlichen Ebenen zu evaluieren, sondern die auch in ihrer Anwendung praktikabel sind und schließlich den Wirkungsnachweis von AAL-Produkten und -Lösungen ermöglichen. EvAALuation2 zielt daher auf eine Operationalisierung des umfassenden Indikatorensets aus dem Vorprojekt EvAALuation ab, um einen einheitlichen und normierten Bewertungsstandard für altersgerechte Assistenzsysteme zu schaffen. Ziel ist es, AAL-spezifische Messinstrumente zu entwickeln, die auf den Erhebungsprozess sowie die Zielpopulation der älteren NutzerInnen eingehen. Im Bereich der non-reaktiven Verfahren sind dies konkrete Erhebungsanleitungen, im Bereich der reaktiven Daten Frage- und Antwortitems für standardisierte Befragungen. Darüber hinaus werden konkrete Instruktionen entwickelt, wie die Instrumente zu verwenden sind, als auch Hinweise zur Vermeidung von Prozessfehlern gegeben. Schließlich werden auch Datenauswertungs- und -interpretationshinweise erarbeitet.
Der Prozess der Erarbeitung des wissenschaftlichen Lösungsansatzes orientiert sich am Total-Survey-Error-Ansatz, der vor allem mögliche Fehlerquellen in der Datenerhebung und daraus resultierende Qualitätsstandards, insbesondere Objektivität, Reliabilität, Validität und Praktikabilität, sicherstellt. Validität wird vor allem über ExpertInneninterviews sowie einem kognitiven Pretest mit der Zielgruppe sichergestellt. Nach einer erneuten Iteration der Messinstrumente werden Belege zur Messwertinterpretation, insbesondere der Reliabilität dieser Interpretationen, in einem quantitativen Pretest mittels Fragebögen bzw. versuchsweisen Erhebungen von non-reaktiven Daten generiert. Diese Einblicke fließen auch in die Prozessbeschreibung ein und stellen somit Objektivität durch Standardisierung sicher.
Um die zukünftige praktische Anwendung zu unterstützen, werden die Ergebnisse in einem Handbuch praxistauglich aufbereitet und anhand von drei Fallbeispielen konkret veranschaulicht. So wird ein weiterer wichtiger Schritt zur Normierung von AAL-Evaluationen, der Vergleichbarkeit von AAL-Lösungen und zum Nachweis der Wirkungen und Effizienzsteigerungen durch AAL.

Abstract

In recent years, huge progress has been made in the development of assistive systems for older adults, both at the national and international level. AAL products and solutions are intended to support the everyday life of older adults and address a variety of aspects such as health, care, mobility, but also social interaction or work. There is great interest in the implementation of these solutions, however, in practice, the use of AAL solutions is scarcely verified apart from pilot applications. Moreover, comparability of results is hardly possible, since there is often no uniform understanding of the constructs to be measured.
This results in the need for suitable measuring instruments and methods which not only allow AAL products and solutions to be evaluated taking into account the subjective, institutional and social levels, but which are also practicable in their application and ultimately enable the effectiveness of AAL-products and services to be tested. EvAALuation², therefore, aims to operationalize the comprehensive sets of indicators from the preliminary project EvAALuation in order to develop a uniform evaluation standard for age-appropriate assistance systems. The aim of EvAALuation2 is to develop AAL-specific instruments that also address the evaluation pro-cess and the target population of older users. In the area of non-reactive methods, concrete instructions for the data assessment are developed, in the area of reactive data, question and answer items for standardized surveys are developed. In addition, specific instructions on how to use the instruments and how to avoid process errors are elaborated. Finally, data evaluation and interpretation notes will also be developed.
The process of developing the scientific approach to a solution is based on the Total Survey Error approach, which ensures that possible sources of error in data collection and quality standards are accounted for, in particular objectivity, reliability, validity and practicability. Validity is ensured primarily through expert interviews and a cognitive pretest with the target group. Evidence for the interpretation of the measured values, particular the reliability of these interpretations, is generated in a quantitative pre-test using questionnaires and data collection test of non-reactive data. These insights are also an important basis for the process description and thus ensure objectivity by standardization.
To support future practical applications, the results are provided in the form of a handbook and are illustrated by means of three practical examples. This is another important step towards standardization of AAL evaluations, comparability of AAL solutions and evidence of the effects and effectiveness of AAL.

zurück