Streetview4VI
Konzeption und prototypische Umsetzung einer u.a. durch die INNOMAKE-Schuhe abrufbaren Karte (Streetview) für Blinde
| Programm / Ausschreibung | Mobilität der Zukunft, Mobilität der Zukunft, MdZ - 12. Ausschreibung (2018) | Status | abgeschlossen |
|---|---|---|---|
| Projektstart | 01.10.2019 | Projektende | 31.03.2021 |
| Zeitraum | 2019 - 2021 | Projektlaufzeit | 18 Monate |
| Keywords | Hinderniserkennung, deep learning, sehbeeinträchtigte und blinde Menschen, digitale Karte, Bildverarbeitung, neuronale Netze, künstliche Intelligenz | ||
Projektbeschreibung
Ausgangspunkt ist der von Tec-Innovation entwickelte Innomake, der intelligente Schuh zur Erkennung von Hindernissen, der die persönliche Mobilität von sehbeeinträchtigten, blinden und motorisch eingeschränkten Menschen in deren Alltag sicherer gestaltet. Die erste Produktversion, welche sich derzeit (1Q 2019) gerade am Beginn der CE-Zertifizierung vor dem Marktstart befindet, erkennt durch die eigens entwickelte, auf Ultraschallsensoren basierende Elektronik, während dem Gehen Hindernisse auf bis zu 4m, und warnt vor diesen rechtzeitig.
Da die auf Ultraschall basierende Technologie jedoch nur angeben kann, ob sich vor dem Benutzer ein Hindernis befindet, aber nicht ermitteln kann, welches Hindernis dies ist, wird bereits seit 2016 gemeinsam mit der TU Graz an einer 2D-kamerabasierten Ergänzung der ersten Produktversion gearbeitet. Moderne deep learning Algorithmen zur Erkennung des Bildinhalts können aus Bildern der Fußperspektive einerseits einen hindernisfreien und damit begehbaren Bereich ermitteln, und andererseits weiters auch Objekte erkennen und unterscheiden. Diese am PC trainierten Algorithmen können von uns bereits auf einem eigens konzeptionierten mobilen System betrieben werden.
Die derzeit vorliegenden isoliert arbeitenden Systeme – worunter auch der Ultraschall- und Kameratechnologie kombinierende Innomake einzuordnen ist - sind nur durch firmeninterne Weiterentwicklung verbesserbar, was zu einer trägen Verbesserung der Erkennungsleistung für alle User führt. Da es auch keine automatisierten Wege gibt, Fehlmessungen durch den Kunden zu melden, können solche Fehlmessungen (zB ein Hindernis wird in einer bestimmten Situation nicht erkannt) nicht systematisch erfasst werden, und sind daher in der Praxis meist ein langer, potentiell gefährlicher Begleiter.
Modernste deep learning Algorithmen, welche dazu ausgelegt sind, einerseits große Datenmengen sinnvoll zu nutzen und andererseits aus diesen Datenmengen eigene Schlüsse zu ihrer eigenen Verbesserung zu ziehen, bieten nun eine große Chance im diesem Bereich. Wenn die learnings aus jedem Weg jedes einzelnen Nutzers zusammengeführt werden können, könnten Lücken in der Erkennung von Situationen kontinuierlich geschlossen werden.
So ist es das Ziel, ein umfassendes Netzwerk für die sichere Mobilität zu schaffen, von dem nicht nur Innomake-User, sondern alle sehbeeinträchtigten Menschen profitieren. Unter Verwendung der Innomake-Kamera, GPS und modernster deep-learning Bildverarbeitungsmethoden soll nämlich durch die Alltagsnutzung des Users, das System stetig automatisiert verbessert werden. Nur so ist es einem System zur Hinderniserkennung möglich, sicher zu werden,, damit solche Systeme zukünftig nicht nur – wie derzeit - eine Ergänzung zum über 70 Jahre alten Blindenstock bleiben.
Abstract
The starting point is the Innomake developed by Tec-Innovation, the intelligent shoe for detecting obstacles, which makes the personal mobility of visually impaired, blind and motor-impaired people in their everyday lives safer. The first product version, which is currently (1Q 2019) at the beginning of CE certification and is about to be launched on the market, uses its specially developed electronics based on ultrasonic sensors to detect obstacles of up to 4m while walking and warns of these in good time.
This ultrasound-based technology can only indicate whether there is an obstacle in front of the user, but cannot determine which obstacle this is. Because of this, we have been working since 2016 together with Graz University of Technology on a 2D camera-based supplement to the first product version. Modern deep learning algorithms for the recognition of the image content can determine an obstacle-free area and also recognize and distinguish objects from foot-perspective. These algorithms trained on the PC can already be operated by us on a specially designed mobile system.
The currently available isolated working systems - including the Innomake combining ultrasonic and camera technology - can only be improved by in-house development, which leads to a sluggish improvement of the recognition performance for all users. Since there are also no automated ways to report incorrect measurements by the customer, such incorrect measurements (e.g. an obstacle is not recognized in a certain situation) cannot be recorded systematically, and are therefore in practice usually a long, potentially dangerous companion.
State-of-the-art deep learning algorithms, which are designed on the one hand to use large amounts of data sensibly and on the other hand to draw their own conclusions for their own improvement from these amounts of data, now offer a great opportunity in this area. If the learnings can be brought together from every path of each individual user, gaps in the recognition of situations could be continuously closed.
The goal is to create a comprehensive network for secure mobility from which not only Innomake users, but all visually impaired people can benefit. Using the Innomake camera, GPS and the latest deep-learning image processing methods, the system is to be continuously improved through the everyday use of the user. Only in this way is it possible for an obstacle detection system to become secure, so that in future, systems will not only - as at present - remain a supplement to the over 70 year old cane.