HS Analysis – Führend in der Ophthalmologie mit innovativer Deep-Learning-Technologie als Assistenz für nAMD Diagnose.
HS Analysis ist ein marktführendes Unternehmen im Bereich der Ophthalmologie, das sich auf die Mensch-Maschine-Interaktion (HMI) spezialisiert hat. Der Fokus ist die Erforschung von neovaskulären AMD (nAMD) und der Entwicklung eines Deep-Learning-basierten Assistenten, der im Produkt HSA KIT im Modul „nAmdClassifier“ integriert ist. Dieses Modul ermöglicht die automatische Erkennung der Malignität von choroidalen melanozytären Läsionen anhand von Fundusfotos (CFP). Das Modul nAmdClassifier ist eine objektive und evidenzgestützte Alternative zu subjektiven Arbeit der Netzhautspezialisten, welche multimodale Bildgebung dabei einsetzen müssen. Das Modul nAmdClassifier unterstütz Ophthalmologen mit einer einfachen Anwendung von Fundusbildern um unbehandelte, bestrahlte Aderhautmelanome oder Navi automatisiert zu trennen. Das Modul ist optimiert auf Bestrahlung mittels Protonentherapie oder Rutheniumapplikator. Zu Beachten: Pateintendaten mit vorherige Endoresektion sollten nicht durch nAmdClassifier verarbeitet werden. Sonst bestehen keine Einschränkungen.
Alleinstellung von nAmdClassifier im HSA KIT
Die Fundusbildgebung (CFP) ist eine weit verbreitete Methode in der ambulanten Ophthalmologie, während die multimodale Bildgebung häufig nur in spezialisierten Kliniken vorhanden ist. Der Einsatz der Software HSA KIT mit dem Modul „nAmdClassifier“ ermöglicht nun ressourcen- und kosteneffiziente Vorstratifizierung von choroidalen melanozytischen Läsionen basierend auf CFP. Unser Deep Learning-Modell HyperTumorEyeNet und daraus entstandene HyperNAmdNet, das nur auf CFP basiert, erreicht eine ähnliche Genauigkeit zum MOLES-Score, welche auf multimodaler Bildgebung beruht. Unter der Verwendung von nAmdClassifier können Ophthalmologen in der Ambulanz aber auch in den Kliniken Untersuchungen der Patientendaten mit nAMD nur anhand von CFP zuverlässig, schnell und objektiv vornehmen und haben eine bequeme Alternative zu der multimodelen Bildgebung.
Früherkennung von nAMD und ihre Relevanz
Die frühzeitige Erkennung von bösartigen Erkrankungen und deren Grad ist entscheidend, da die Behandlung einer metastasierten Erkrankung oft wenig Erfolg versprechen kann. Gleichzeitig birgt eine sofortige Behandlung der Läsionen das Risiko eines möglichen Seheinschränkung oder Sehverlust. Mit nAmdClassifier im HSA KIT kann die Genauigkeit der nicht-invasiven Diagnostik verbessert werden, wobei mögliche Komplikationen einer pathologischen Bestätigung, wie Tumorzellaussaat, Netzhautablösung oder Glaskörperblutung, berücksichtigt werden muss.
Datenbasis und Entwicklung des Moduls
Das Modul „nAmdClassifier“ wurde auf der Grundlage von Daten entwickelt, die von Patienten stammen, bei denen zwischen 2011 und 2023 in einer Tertiärklinik eine choroidale melanozytäre Läsion diagnostiziert wurde. Dies führte zu einer Kohorte von 762 Fällen. Der im HSA KIT integrierte Deep Learning-Assistent wurde mit einem Datensatz von 762 Farbfundusfotografien (CFP) von Aderhautläsionen trainiert, die mit verschiedenen Funduskameras aufgenommen wurden. Der Datensatz wurde mit komplexen Augmentierungsmethoden verarbeitet und in die Kategorien gutartiger Nävus, unbehandeltes Aderhautmelanom und bestrahltes Aderhautmelanom unterteilt, wobei der Referenzstandard von Netzhautspezialisten unter Verwendung multimodaler Bildgebung festgelegt wurde und für Validierungszwecke in der Klinik verwendet wurde.
Technologische Implementierung und Deep Learning Architektur
Das Modul „nAmdClassifier“ wurde unter Verwendung zweier verschiedener Fundusbildgebungstechnologien entwickelt und enthält je nach Lage der Läsion zwei verschiedene Deep-Learning-Modelle. Im Vergleich zur Pseudofarbbildgebung, die bei Optos verwendet wird, bietet das Clarus-Gerät eine Echtfarbbildgebung, was zu einer höheren Bildvariabilität führt.
Leistungsfähigkeit und Zukunftspotenzial
Das HSA KIT mit dem Modul „nAmdClassifier“ zeigt eine hervorragende Leistung bei der Unterscheidung der Malignität von Aderhautläsionen (nAMD). Diese Software stellt eine vielversprechende Lösung für eine ressourcenschonende und kostengünstige Vorstratifizierung dar. Zusammenfassend lässt sich sagen, dass das Modul „nAmdClassifier“ die Bösartigkeit von Aderhautläsionen auf vollautomatische, reproduzierbare und objektive Weise mit einer zufriedenstellenden Genauigkeit im Vergleich zu erfahrenen Netzhautspezialisten unter Verwendung multimodaler Bildgebung darstellt.
Publikationen
Charité 2024: Using Deep Learning to Distinguish Highly Malignant Uveal Melanoma from Benign Choroidal Nevi.
Abstract
Background: This study aimed to evaluate the potential of human–machine interaction (HMI) in a deep learning software for discerning the malignancy of choroidal melanocytic lesions based on fundus photographs.
Methods: The study enrolled individuals diagnosed with a choroidal melanocytic lesion at a tertiary clinic between 2011 and 2023, resulting in a cohort of 762 eligible cases. A deep learning-based assistant integrated into the software underwent training using a dataset comprising 762 color fundus photographs (CFPs) of choroidal lesions captured by various fundus cameras. The dataset was categorized into benign nevi, untreated choroidal melanomas, and irradiated choroidal melanomas. The reference standard for evaluation was established by retinal specialists using multimodal imaging. Trinary and binary models were trained, and their classification performance was evaluated on a test set consisting of 100 independent images. The discriminative performance of deep learning models was evaluated based on accuracy, recall, and specificity.
Results: The final accuracy rates on the independent test set for multi-class and binary (benign vs. malignant) classification were 84.8% and 90.9%, respectively. Recall and specificity ranged from 0.85 to 0.90 and 0.91 to 0.92, respectively. The mean area under the curve (AUC) values were 0.96 and 0.99, respectively. Optimal discriminative performance was observed in binary classification with the incorporation of a single imaging modality, achieving an accuracy of 95.8%. Conclusions: The deep learning models demonstrated commendable performance in distinguishing the malignancy of choroidal lesions. The software exhibits promise for resource-efficient and cost-effective pre-stratification.
https://www.mdpi.com/2077-0383/13/14/4141
https://doi.org/10.3390/jcm13144141
Modules Used
Ophthalmic Tumor detection in HSA KIT
Diagnosemodalitäten
Multimodale Bildgebung vs. „nAmdClassifier“ im HSA KIT basierend auf CFP.
Die Welt der intraokularen Bildgebung explodiert geradezu vor neuen Technologien. Über Jahre hinweg dominierten Fundusfotografie, Fluoreszeinangiographie und okuläre Ultraschalluntersuchungen, aber nun gibt es noch mehr Auswahlmöglichkeiten, darunter Mikrobildgebungsmethoden, wie die optische Kohärenztomographie (OCT), OCT-Angiographie (OCTA), Fundus-Autofluoreszenz (FAF) und Indocyaningrün-Angiographie (ICGA). Zusätzlich gibt es die Makrobildgebungstechnologien Computertomographie (CT) und Magnetresonanztomographie (MRT). Noch unzureichend erforscht für den Einsatz bei intraokularen Tumoren sind multispektrale Bildgebung, Dunkeladaptation und adaptive Optik.
Das effektivste Instrument zur Beurteilung intraokularer Tumoren ist die indirekte Ophthalmoskopie in den Händen eines erfahrenen Augenonkologen. Zahlreiche Faktoren fließen in die Gleichung der Tumordiagnose ein, wie z.B. die Konfiguration der Läsion, die Oberflächenkontur, das Vorhandensein von Tumorsaat, das Vorhandensein und der Ausmaß von subretinalen Flüssigkeitsansammlungen, Schattierungen der Tumorfärbung, intrinsische Durchblutung und andere, die auf die Diagnose hinweisen und unsere Gedanken zur Behandlung lenken. Zum Beispiel wäre eine orange-gelbe Masse tief unterhalb des retinalen Pigmentepithels (RPE) oder in der Aderhaut mit umgebender Blutung und/oder Exsudation verdächtig auf periphere exsudative hämorrhagische Chorioretinopathie (im Vergleich zu choroidalem Metastasen von Nierenzellkarzinomen oder kutanem Melanom). Die Kombination von Merkmalen führt zur Mustererkennung.
Detektion und Analyse
Die Software von HS Analysis ist ein nützliches Instrument zur Unterstützung bei der frühzeitigen Erkennung und Analyse von Choroidtumoren. Mit ihrer Hilfe können ambulante Augenärzte aber auch Ophthalmologen in den Kliniken zwischen Tumoren vor und nach der Bestrahlung und nicht-tumorösen Zuständen ohne multimodale Bildgebung unterscheiden. Dies führt letztendlich zu früheren Diagnosen und wirksameren Behandlungsmöglichkeiten.
Die Software ist auf Deep Learning aufgebaut, identifiziert und klassifiziert Tumore anhand von Merkmalen wie beispielsweise Größe, Form und Lage. Sie unterstütz dabei, Bilder der Tumore eines Patienten im Laufe der Zeit zu vergleichen, Veränderungen zu erkennen, die auf Tumorwachstum oder -fortschritt hinweisen könnten.
Bedeutung von ophthalmischen Tumoren in der HSA Software
Prozess der Entstehung von Deep Learning Modell HyperTumorEyeNet und späteren HyperNAmdNet.
• Der Arzt kann mit HSA AI Cockpit in der Software HSA KIT Patienten mit Aderhautnävi, unbehandeltem und bestrahltem Aderhautmelanom klassifizieren, sodass Ground-Truth-Daten (GTD) für das Training eines Deep Learning-Modells verwendet werden können.
• Anschließend schlägt eine weitere KI die optimale Hyperparametereinstellung für die vorhandenen GTDs und Zielfragestellung vor. Die Hyperparameter können jedoch vom Arzt betrachtet und bei Bedarf geändert werden. Nach dem Klick auf den Button TRAIN werden verschiedene Versionen der Deep learning Modelle erstellt, abgespeichert und versioniert.
• Nun kann der Arzt die erstellten Modelle unter der Verwendung von Validierungs- und Testdaten visuell und zahlenbasiert als Metriken vergleichen.
• Das beste Netzt ermöglicht eine schnelle und präzisere Früherkennung von Tumoren.
Funktionsweise von Modulen zu ophthalmischen Tumoren
- Der Arzt kategorisiert Bilder ohne und mit Tumore vor und nach der Bestrahlung, wie im obigen Bild zu sehen ist.
- Dann entwickelt das Programm in Zusammenarbeit mit dem Arzt ein Deep Learning-Modell, das automatisch Tumore in weiteren Bildern erkennt.
- Neue Datensätze mit nicht-tumorösen oder vor und nach Bestrahlung tumorösen Datensätze werden automatisch durch HyperNAmdNet erkannt, quantifiziert und visuell und zahlenbasiert archiviert.
HS Analysis ist interoperabel mit Hardware- und Softwaregeräten
Das HSA KIT passt perfekt zu den folgenden Geräten, um an ophthalmologischen Lösungen zu arbeiten.
Die medizinischen Experten, die mit diesem Gerät bei retinalen Diagnoseverfahren arbeiten, erzielen ein einzigartiges Maß an diagnostischer Genauigkeit und liefern Bilder mit klarsten Details. Dadurch wird eine verlässliche Grundlage für erstklassige Behandlungsergebnisse geschaffen.
In Kombination mit HSAs Deep Learning, durch den Einsatz von KI-Algorithmen, die in das Software-Kit des Programms integriert sind, ermöglicht es den medizinischen Fachkräften, effizienter an dem Diagnoseverfahren zu arbeiten und die Endergebnisse schneller und präziser zu erreichen.
Dieses Gerät von ZEISS wurde als umfassende Ultra-Weitwinkel-Funduskamera für Augenärzte entwickelt. Dadurch können Ultra-Weitwinkelbilder in echter Farbe und mit erstklassiger Bildqualität aufgenommen werden. Es bietet die gesamte Palette an Bildgebungsmodalitäten, einschließlich Fluoreszenzangiographie.
Die Ausgabe dieses Geräts kann mithilfe des HSA KIT analysiert werden, um Tumorzellen und abnormales Gewebe schneller mithilfe von Deep-Learning-Algorithmen zu annotieren und hervorzuheben.
Dieses konfokale Scanning-Laser-Ophthalmoskop ist ein Weitfeld-Digitalbildgebungssystem, das Bilder der Netzhaut von der zentralen Stelle bis zur fernen Peripherie aufnehmen kann. Die Retina-Bilder werden automatisch und patientenfreundlich erfasst, ohne Skleraldepression oder Kontakt mit der Hornhaut.
Die von diesen Geräten (Neu, Clarus 700) erfassten Bilder werden mithilfe des HSA KIT gescannt und analysiert, um ein hervorgehobenes und annotiertes Ausgabebild von Tumorzellen zu generieren. Hierbei wird der Clarus 700 verwendet, wenn der Tumor eher im Innenbereich des Auges liegt. Dieses Gerät findet häufiger Verwendung und ruft rötliche Bilder hervor, während der Optos (New) für Augentumore verwendet wird, welche im Außenbereich des Auges lokalisiert sind. Dieses Gerät arbeitet mit grünlichen Bildern.
Das SPECTRALIS® ist eine ophthalmologische Bildgebungsplattform mit einem aufrüstbaren, modularen Design. Diese Plattform ermöglicht es den Klinikern, jedes SPECTRALIS für den spezifischen diagnostischen Arbeitsablauf in der Praxis oder Klinik zu konfigurieren.
Die multimodalen Bildgebungsoptionen umfassen: OCT, mehrere Scanning-Laser-Fundus-Bildgebungsmodalitäten, Widefield und Ultra-Widefield, Scanning-Laser-Angiographie und OCT-Angiographie.
Diese Bilder können dann in der HSA-Software verwendet werden, um Tumorzellen genau und in kurzer Zeit hervorzuheben.
OptosAdvance ist eine umfassende Bildverwaltungslösung für die Augenheilkunde. Sie ermöglicht es den Klinikern, Bilder von vielen Augenheilkunde-Diagnosegeräten in ihren Praxen mithilfe einer einzigen branchenüblichen DICOM-Lösung zu überprüfen, zu annotieren, sicher zu überweisen und zu archivieren.
In Kombination mit der KI-Technologie, die im HSA KIT integriert ist, können Gesundheitsfachkräfte beide Programme schnell und effizient nutzen und genaue Ergebnisse erzielen.
Funktionsweise von Modulen zu ophthalmischen Tumoren
Es wurde HyperTumorEyeNet und daraus entstandene HyperNAmdNet (Typ 1), basierend auf EfficientNet als CNN Architektur im HSA AI Cockpit direkt in einer Klinik offline implementiert.
Die Ergebnisse zeigen für das Modell eine accurarcy von 96 %. Zusätzlich wurde eine precision von 92,59 % erzielt. Für den recall wurde ein Wert von 99,9% ermittelt. Desweiteren ergab sich für den F1 score ein Wert von 96,15 %. Der Cohen Kappa score erreichte 92 %.
Training process in HSA KIT
- HSA KIT ist ganz einfach zu bedienen:
- Keine mühsame manuelle Workflows
- Erstelle dein eigenes Deep Learning in 3 Schritten
- Klassifiziere
- Trainiere
- Automatisiere
- Vergleichbare Ergebnisse
- Ready-to-use APPs
State of the art of Classification Architectures
HyperTumorEyenet (Type1)
Im Folgenden wird beschrieben wie die Performance von Deep Learning Modellen verbessert werden kann wenn erst mal eine kleinere Datenmenge als Traningssatz (407 Bilder) vorliegt und im späteren Verlauf weitere Daten (762 Bilder insgesamt) dazu kommen können. Es sind zwei Abbildungen, die Leistung des HyperTumorEyeNet (Typ-1) zeigen, das mit zwei verschiedenen Datenmengen an GTD trainiert wurde: erst mal nur 407 Bilder und anschließend 762 Bilder.
Das Modell erzielte eine Genauigkeit von 86 % mit 407 Bildern und 96 % mit 762 Bildern. Dies zeigt, dass die zusätzlichen Daten des vollständigen Datensatzes es dem Modell ermöglichten, die Muster und Zusammenhänge zwischen den Merkmalen in den Ground-Truth-Daten besser zu erfassen.
Darüber hinaus erreichte das Modell eine Präzision von 90,38 %, als es mit dem vollständigen Datensatz trainiert wurde, im Vergleich zu einer Präzision von 83,93 %, als es mit 407 Files trainiert wurde. Eine hohe Präzision bedeutet, dass das Modell true Positiven korrekt identifiziert und gleichzeitig die Anzahl der falsch Positiven minimiert.
Der Recall des Modells verbesserte sich von 94 % auf 99,9 %. Ein höherer Recall zeigt, dass das Modell in beiden Fällen einen hohen Prozentsatz von True Positiven identifizieren konnte.
Auch der F1-Score des Modells verbesserte sich von 87,04 % auf 96,15 %. Ein höherer F1-Score bedeutet, dass das Modells sowohl die Präzision als auch den Recall mit mehr Daten verbessert hat.
Schließlich verbesserte sich auch der Cohen’s Kappa-Wert von 72 % auf 92 %, als es mit dem vollständigen Datensatz trainiert wurde. Ein höherer Cohen’s Kappa-Wert zeigt eine bessere Übereinstimmung zwischen den vorhergesagten und den tatsächlichen Labels, was in Anwendungen, bei denen Genauigkeit entscheidend ist, von großer Bedeutung ist.
HyperTumorEyenet (Type2)
Entsprechend wurde auch HyperTumorEyeNet (Typ2) mit zwei unterschiedlichen Mengen an GTD trainiert.
Auf der linken Seite wurde das Modell mit 407 Files trainiert und erreichte eine Genauigkeit von 88 %, eine Präzision von 83 %, einen Recall von 94 %, einen F1-Score von 88 % und einen Cohen’s Kappa-Wert von 76 %.
Auf der rechten Seite wurde das Modell mit dem vollständigen Datensatz trainiert. Das Modell erzielte eine Genauigkeit von 92 %, eine Präzision von 90 %, einen Recall von 94 %, einen F1-Score von 92 % und einen Cohen’s Kappa-Wert von 84 %.
Accuracy Performance mit zunehmenden GTD-Trainingsdaten.
Die Abbildung zeigt, dass die Genauigkeit der beiden Modelle verbessert wird, wenn der KI mehr Daten zum Trainieren zur Verfügung gestellt werden, da eine Erhöhung der Datenmenge auf der ein KI-System trainiert wird, zu einer verbesserten Leistung führen kann. Dies gilt insbesondere in überwachten Lernumgebungen, in denen die KI lernt auf Basis von gelabelten Beispielen Vorhersagen zu treffen.
Wenn ein KI-System mehr Beispiele erhält, hat es mehr Möglichkeiten, Muster in den Daten zu erkennen und zu verallgemeinern, was seine Genauigkeit bei neuen, unbekannten Beispielen verbessern kann. Dies zeigt, dass die Leistung des KI-Systems mit zunehmender Informationsmenge besser wird. Jedoch sollte beachtet werden, dass die Datenmenge in der Balance zur Datenqualität für eine bessere Leistung stehen muss.
Vergleich beider Decoder
Vergleich bei weniger verfügbaren Trainingsdaten.
Als weniger Datensätze verfügbar waren, übertraf das Typ-2-Modell das Typ-1-Modell in allen Metriken, mit Ausnahme des Recalls, der bei beiden Modellen ähnlich bei 94 % lag. Dies deutet darauf hin, dass das Typ-2-Modell robuster sein könnte, wenn es mit kleineren Datensätzen arbeitet, da es in mehreren Metriken eine bessere Leistung erzielen konnte.
Vergleich bei größeren Trainingsdatensätzen.
Als ein größerer Trainingsdatensatz bereitgestellt wurde, hat HyperTumorEyeNet (Typ1) in allen Metriken das Typ2-Modell geschlagen. Zu den Metriken gehören Präzision, Recall, F1-Score und Cohen’s Kappa, die häufig verwendete Maßstäbe für die Genauigkeit und Konsistenz eines Modells sind.
Diese Ergebnisse deuten darauf hin, dass das Typ-1-Modell möglicherweise effektiver darin ist, Fälle genau zu identifizieren und zu klassifizieren als das Typ-2-Modell.
Vergleichsanalyse der Forschungsergebnisse von Deep Learning Modellen
Was wir in unserem Traningsprozess mit HSA AI Cockpit beobachtet haben, entspricht auch den früheren Forschungsergebnissen. Das auf EfficientNet aufgebaute Modell übertraf das auf ResNet basierende Modell. In früheren Forschungen erzielte EfficientNet eine Genauigkeit von 83 %, während ResNet eine Genauigkeit von 81,13 % erreichte. Zudem wurde festgestellt, dass die Ergebnisse im HSA KIT von HyperTumorEyenet (Typ 1) das HyperTumorEyenet (Typ 2) um 4 % übertrafen, da das Typ 1-Modell eine Genauigkeit von 96 % erzielte, während Typ 2 eine Genauigkeit von 92 % hatte.
xAI im HSA KIT
Die Explainable AI-Technik (xAI) in der Software HSA KIT wurde verwendet, um bildspezifische Bereiche für bestimmte Klassen zu lokalisieren welche durch KI für die Klasseneinteilung am stärksten zustandig waren.
Die Schritte zur Anwendung von xAI im HSA KIT: Bilder in ein Projekt laden, Bilder durch Deep Learning klassifizieren, Definieren der Zielklasse, Berechnen von Gradienten, Anwenden des globalen Durchschnittspoolings, Generieren der Heatmap und schließlich Überlagern der Heatmap auf das Originalbild, um die Bereiche zu visualisieren, die zur Vorhersage der Zielklasse beitragen.
Auf dem Weg ein Deep learning Modell mit HSA AI Cockpit zu erstellen, können Sie als Arzt die Entscheidungen des bereits trainierten Deep Learning-Modells verstehen sowie erkennen, in welche Richtung das Modell optimiert wurde oder werden sollte. So kann während dem Trainingsprozess das qualitativ beste Deep Learning-Modell erstellt und ausgesucht werden. In diesem iterativen Traningsprozess, versteht der Anwender welche Hyperparameter aktiviert werden sollten oder wie viel mehr Daten einer bestimmten Klasse mehr oder weniger verwendet werden sollten, damit die besten Ergebnisse erzielt werden. Die Abbildung unten zeigt welche Pixel das Deep Learningmodell für die Tumorerkennung markiert; warme Farben (gelb, rot) zeigen Regionen im Tumorgewebe an, die eine höhere Aktivierung der Pixel für die Klasse Aderhautmelanom aufweisen.
Die Ergebnisse deuten darauf hin, dass die Leistung von HyperNAmdNet genaue und präzise Ergebnisse lieferte und es somit eine ausgezeichnete Option für medizinische Verorgung darstellt.
