FFG Projektdatenbank

zurück

Deep nuclei analysis

Deep learning for improved nuclei segmentation and knowledge transfer methods in microscopic images

Projektbeschreibung

TissueGnostics GmbH ist ein österreichisches Unternehmen, das auf dem Gebiet der Präzisionsmedizin tätig ist und Bildverarbeitungslösungen für die quantitative Analyse von Gewebe und Zellen in digitalisierten mikroskopischen Bildern anbietet. Das Unternehmen ist an der Entwicklung von Deep Learning (DL)-basierten Kernsegmentierungsalgorithmen für seine preisgekrönte Bildanalyse-Software StrataQuest interessiert. Die Kernsegmentierung wird als grundlegender Schritt in der quantitativen mikroskopischen Bildanalyse angesehen. Da die manuelle Segmentierung, die von Experten durchgeführt wird, ein zeitaufwändiges, subjektives und komplexes Verfahren ist, wird an automatisierten computergestützten Verfahren zur Durchführung der Kernsegmentierung gearbeitet. Während DL-basierte Ansätze die neuesten Lösungen für Bildsegmentierungsaufgaben darstellen, gibt es damit zwei ungelöste Probleme. Das erste Problem ist die Instanzensegmentierungsleistung für anspruchsvolle Objektfälle, die erheblich verbessert werden muss. Das zweite Problem ist die Verallgemeinerungsfähigkeit dieser Modelle. In diesem Projekt wollen erfahrene und junge Forscher der Medizinischen Universität Wien beide Themen behandeln. Für die Verbesserung der Kernsegmentierung, vor allem bei überlappenden Kernen, wird ein neuartiger DL-basierter Ansatz vorgeschlagen. Es handelt sich um ein mehrstufiges, auf einem Encoder-Decoder basierendem Modell mit einer angepassten Dämpfungsfunktion. An der Verallgemeinerungsfähigkeit der Modelle soll mit drei verschiedenen DL-basierten Methoden des Wissenstransfers gearbeitet werden, nämlich einer tiefen Modellanpassung, einem tiefen Stiltransfer zur Farbnormalisierung und einer multimodalen Färbungsfusion zur Erzeugung künstlicher Grundwahrheiten. Darüber hinaus planen die Forscher der Medizinischen Universität Wien eine Datenbank aufzubauen, die digitalisierte mikroskopische Aufnahmen verschiedener Gewebsschnitte für die Algorithmusentwicklung enthält. Zudem werden manuelle Kernmarkierungen als “Ground Truth” (Grundwahrheit) für die Algorithmusvalidierung bereitgestellt. Die entwickelten Methoden sollen einen “Proof-of-Principle” darstellen, von der Firma weiterentwickelt, insbesondere für die Laufzeitperformance optimiert und zukünftig mit einer anwender- und anwendungsorientierten Schnittstelle in das Softwareprodukt StrataQuest (oder dessen Nachfolger) von TissueGnostics integriert werden. Nach einer zusätzlichen Testphase und einer Leistungsbewertung, die die In-Vitro Diagnostics (IVD) -Konformität der neuen Methoden berücksichtigt, werden die Entwicklungen für biomedizinische Forscher und insbesondere für Pathologen verfügbar gemacht. Das finale Softwareprodukt soll eine genaue, schnelle und verlässliche Segmentierung der Kerne und in Folge die Analyse der mikroskopischen Bilder ermöglichen für zukünftige Anwendungen im Bereich der personalisierten Medizin / Präzisionsmedizin.

Abstract

TissueGnostics GmbH is an Austrian company that works in the area of precision medicine and provides image-processing solutions for quantitative analysis of tissues and cells in digitized microscopic images. The company is interested in the development of Deep Learning (DL)-based nuclei segmentation algorithms for their award-winning image analysis software StrataQuest. Nuclei segmentation is considered as the fundamental step in quantitative microscopic image analysis. As manual segmentation, performed by experts, is a time-consuming, subjective and complex procedure, the need for automatic computerized methods to perform nuclei segmentation has emerged. While DL-based approaches are the state-of-the art solutions for image segmentation tasks, there are still two main unsolved issues. The first issue is the instance segmentation performance for challenging object cases, which needs to be significantly improved. The second issue is the generalization capability of these models. In this project, senior and young researchers at the Medical University of Vienna aim to address both issues. In particular, for the first issue, our technical goal is to propose a novel DL-based approach for improved nuclei segmentation. We propose a multi-stage encoder-decoder based model with a customized loss function to segment challenging overlapping nuclei in a wide range of microscopic images. For the second issue, we plan to improve the generalization capacity of the models by three different DL-based knowledge transfer methods including deep model adaption, deep style transfer for color normalization and multimodal staining fusion for artificial ground truth generation. Furthermore, researchers at the Medical University of Vienna will generate a database containing digitized microscopic images of diverse tissue sections for algorithm development as well as provide the ground truth data for algorithm validation. The developed methods shall represent a proof-of-principle, will be further developed by the company, in particular optimized for runtime performance and in future shall be integrated into TissueGnostics’ software product StrataQuest (or its successor) with an user- and application-oriented interface. After an additional test phase and a performance evaluation addressing the In-Vitro Diagnostics (IVD) – compliance of the new methods, the developments will be made available for biomedical researchers and in particular to pathologists to perform accurate, fast and reliable nuclei segmentation and subsequent analysis in microscopic images for future applications in the field of personalized / precision medicine.

zurück