FFG Projektdatenbank

zurück

SISDAL

Semantic Image Segmentation by Deep Active Learning in medical imaging applications

Projektbeschreibung

Künstliche Intelligenz (KI) hat in den letzten Jahren Innovationen in vielen praktischen und kommerziellen Anwendungen gebracht, die oft unbemerkt Teil unseres täglichen Lebens geworden sind. Der kürzliche große Erfolg von KI, welcher laut Prognosen in den kommenden Jahren sehr großen Einfluß in verschiedensten Branchen haben wird, lässt sich im Wesentlichen darauf zurückführen, dass Deep-Learning-basierte Ansätze, insbesondere Deep Convolutional Neural Networks (CNNs) für Anwendungen mit Bilddaten, es zunehmend ermöglichen, viele Probleme sehr effizient zu lösen. Daher ist auch die Weiterentwicklung von Deep Learning Verfahren ein wesentlicher Forschungsinhalt führender akademischer Einrichtungen geworden, wobei auch die Forschungspartner dieses Konsortiums, LBI CFI und ICG, in diesem Bereich weltweit an der Spitze der Forschung arbeiten. Darüberhinaus ist Deep Learning der Kern des Geschäftsmodells des KMU-Firmenpartners KML VISION dieses Konsortiums, welches diese Technologie auch Kunden zugänglich macht, die wenig oder keine Kenntnisse/Kompetenzen im Bereich KI haben.
Eine wesentliche Fragestellung des Maschinellen Lernens in der medizinischen Bildanalyse besteht darin, automatisch semantische Beziehungen zwischen identifizierten (segmentierten) Objekten/Strukturen einer Szene zu erkennen. Die Verwendung von CNNs für die semantische Segmentierung hat die Anwendbarkeit und die Genauigkeit dieser Applikationen stark weiterentwickelt. Auf der anderen Seite hängt jedoch der Erfolg solcher Verfahren in großem Ausmaß von genauen Annotierungen sehr großer Datenmengen ab, die für das Training eines tiefen neuronalen Netzwerks benötigt werden. Dies ist aber nur mittels großem manuellen Zeitaufwands durch einen Experten (Radiologe, Biologe) möglich und somit teuer. Für viele Unternehmen oder Forschungsgruppen im medizinischen Umfeld ist daher der Einsatz modernster maschineller Lerntechnologien nicht möglich. Glücklicherweise ist aber für viele relevante Probleme oft bereits eine große Menge unannotierter Daten verfügbar. Die Anzahl der Beispiele, die ein Domänenexperte annotieren muss, ohne die Leistungsfähigkeit der maschinellen Lernmethode zu beeinträchtigen, wird dadurch deutlich reduziert. Insbesondere ist es durch sogenanntes Active Learning möglich, Expertenwissen direkt in den Lernprozess einfließen zu lassen, und den manuellan Annotierungsaufwand damit deutlich zu reduzieren.
Dazu ist allerdings eine Qualitätsmaß für die Vorhersagen notwendig, um neue Beispiele für die Annotierung bzw. für das Re-Training der neuronalen Netze auszuwählen. Da Deep Learning ein solches Qualitätsmaß nicht inhärent bietet, findet Active Learning bislang keine Anwendung im Bereich der CNN-basierenden semantischen Segmentierung. Daher ist es das Ziel dieses Projektes, die technischen Herausforderungen der Kombination von Active Learning und Deep Learning so zu adressieren, dass diese vielversprechende Technologie mittelfristig auch in kommerzielle Anwendungen zum Einsatz kommen kann.
Das erwartete Ergebnis dieses Projekts ist ein Forschungsprototyp für semantische Bildsegmentierung basierend auf Deep Active Learning. Auf lange Sicht soll dieser Forschungsprototyp die Grundlage für ein kommerzielles Produkt bilden, das die Zeit, die ein menschlicher Experte für die Annotierung benötigt, deutlich reduziert, und so die Kosten für die Bereitstellung modernster maschineller Lernmethoden für Kunden erheblich senkt. Darüber hinaus kann in weiterer Folge die Zeit bis zu einer Produkteinführung erheblich verkürzt werden, da nur ein kleinerer Teil großer Trainingsdatensätze annotiert werden muss. Die Nutzung des entwickelten Deep Active Learning Frameworks, kann so die Wettbewerbsfähigkeit und Attraktivität von Unternehmen wie KML VISION, die auf Software-as-a-Service (SaaS) Modelle setzen, erhöhen und möglicherweise neue Marktchancen eröffnen.

Abstract

Without even noticing, artificial intelligence (AI) has brought innovations in many practical and commercial applications that have become part of our everyday life. The overwhelming recent successes of AI were mainly due to a disruptive shift of machine learning towards the use of deep learning systems. Bringing improvements to the hot topic of deep learning, specifically in applications involving image data that focus on deep convolutional neural networks (CNNs), has become the main research interest of leading academic institutions around the world. The research partners of the SISDAL consortium, LBI CFI and ICG, are also strongly contributing to this research area, while the SME partner KML VISION dedicates its business model to bring this cutting edge technology to customers from biomedical, biotechnological and pharmaceutical industries that have little or no knowledge in artificial intelligence.
One of the fundamental machine learning challenges in medical image analysis systems is to automatically understand high-level semantic relationships between the objects of a depicted scene, which crucially depends on its component performing semantic image segmentation. While recently the use of CNNs has brought unprecedented performance for supervised semantic segmentation, unfortunately the training of deep neural networks in a supervised setting depends on the availability of large amounts of accurately annotated data. To establish such carefully annotated datasets, a huge amount of manual labelling work of a domain expert is required, an effort that is both time-consuming and costly. Therefore, for many companies the use of state-of-the-art machine learning technology is not economical or not possible and a solution has to be found for most effectively annotating the large datasets required for training deep learning methods. Fortunately, in large training datasets, there is plenty of redundant information, which is not relevant for training a network. By selecting solely the most relevant training data for the task, the same performance can be achieved with a significantly smaller amount of annotated data. This strategy, in which the optimal data is selected for annotation by a human domain expert during the training process, is known as active learning.
Active learning has not yet been used together with deep learning for semantic segmentation in medical applications since first, deep neural networks are prone to overfitting when trained with a small amount of annotated data, and second, they do not provide an uncertainty of predictions needed in the active learning loop to select new examples for annotation. Addressing these scientific questions together with technical challenges of combining active learning and deep learning for semantic segmentation, the SISDAL project is the first to attempt bringing active learning closer towards commercial applications in this context. The expected result of this project is a software prototype for deep active learning in semantic segmentation tested in a real world scenario provided by KML VISION. On the long run, this software framework will make the use of state-of-the-art deep learning software economically feasible for both companies and research institutions, which currently cannot afford such a software due to the high costs of domain experts doing manual annotation. Thus, this software will open up new market opportunities for these targeted end users, but also enhance the competitiveness and attractiveness of a company like KML VISION, which provides deep learning software as a service (SaaS) but requires fully annotated datasets from their customers.

zurück