Bevor künstliche Intelligenz in den medizinischen Arbeitsablauf integriert wurde, verbrachten Ärzte viel Zeit damit, medizinische Bilder zu analysieren, um zu einer bestimmten Diagnose zu gelangen, da dies manuell geschah und auch nicht sehr genau war.
Wir als Experten für HS Analysis sind bestrebt, durch den Einsatz von künstlicher Intelligenz und insbesondere Deep Learning in Krankenhäusern, Labors und Forschungszentren die beste Gesundheitsversorgung und Behandlung verschiedener Krankheiten, einschließlich Augenkrankheiten, zu bieten. Die Identifizierung der Krankheit ist eine Herausforderung für den Augenarzt, aber dieses Problem kann, wie bereits erwähnt, mithilfe von KI gelöst werden. Dies geschieht durch geschultes und erfahrenes Personal, das fortschrittliche Hardware und Software einsetzt, um eine schnelle und genaue Diagnose von Augenkrankheiten zu ermöglichen, einschließlich einiger seltener Krankheiten wie der neurotrophen Keratopathie.
Wie kann HSA KIT SOFTWARE Augenärzten helfen?
NK can lead to severe complications and even blindness. Identifying the agent in the early stages and preventing complications is a challenge for the ophthalmologist. Here in HS Analysis, we manually annotate images that we receive from research centers and hospitals using our specific annotation tools. by annotating, we obtain helpful data that can be utilized by the AI in our sophisticated software to learn how to automatically detect and annotate specific characteristics in the received images in the future. The final results yielded by our software can tremendously help the health care section to better diagnose and treat ocular diseases. Corneal changes that our software can detect include:
- A significant reduction of nerve density in the sub-basal nervous plexus,
- a lower epithelial and endothelial cell density,
- an increase in dendritic immune cells.
Invivo-Konfokalmikroskopie mit HSA KIT
ist ein kompaktes ophthalmologisches Gerät, das mit Hilfe der konfokalen Scanning-Lasermikroskopie hochauflösende Bilder der Hornhaut, der Bindehaut oder des Limbus auf zellulärer Ebene liefert. Die mit diesem Gerät aufgenommenen Bilder können mit dem HSA KIT gescannt und analysiert werden, um ein hervorgehobenes und mit Anmerkungen versehenes Ausgabebild der Verzweigungen und Hauptfasern der Nerven in hoher Qualität und kurzer Zeit zu erzeugen. IVCM-Bilder sind einige der ophthalmologischen Bilder, auf die wir KI angewandt haben, um die Gesundheit, Empfindlichkeit und Dichte der Hornhautnerven schnell und genau zu bestimmen. NK, eine der Krankheiten, die den Hornhautnerv betreffen und zu schweren Komplikationen bis hin zur Erblindung führen können, lässt sich durch Anwendung von KI auf IVCM-Bilder eines NK-Patienten diagnostizieren. Je früher die Krankheit diagnostiziert wird, desto besser ist das Ergebnis und die Komplikation
Erstellung von Wahrheitsdaten (Ground Truth Daten)
Hier bei HS Analysis werden Experimente mit einer speziellen Deep-Learning-Architektur durchgeführt, die von den Mitarbeitern ständig verbessert wird. Der Hornhautnerv besteht aus 5 Schichten, von denen eine die subbasale Schicht ist, die zwei Strukturen enthält: die Hauptnervenfaser und den Ast. Diese beiden Strukturen bilden eine Hauptstruktur, die als Nervenfaser bekannt ist. Um ein Deep-Learning-Modell zu trainieren, sind Ground-Truth-Daten von entscheidender Bedeutung. Die Anzahl der verwendeten GTD-Dateien betrug 210, wobei etwa 30 Dateien zum Testen der erstellten Modelle verwendet wurden. Die GTD-Erstellung erfolgte in mehreren Schritten. Zunächst wurden BMP-Bilder mit einer Größe von 384×484 in die HSA-KIT-Software hochgeladen. Dann wurde das gesamte Bild als Region von Interesse (ROI) ausgewählt, da die Bilder für NK als ein ganzes Bild behandelt wurden. Anschließend wurden die Nervenzellen in zwei Klassen, Hauptfasern und Verzweigungen, eingeteilt und mit den HSA-KIT-Tools annotiert.
Interpretation der Ergebnisse des trainierten Modells
Zunächst wird das Thema der Nervenfasern behandelt. Es wurden drei Deep-Learning-Modelle mit drei verschiedenen Architekturen erstellt (HyperNKNet50, HyperNKNeXt50, HyperNKNet-B3). Wie unten dargestellt, war HyperNKNet-B3 das beste Modell für die Nervenfaser, da der Verlustwert bei dieser speziellen Architektur niedriger ist als bei den anderen Modellen und die Genauigkeit besser war als bei den anderen Architekturen.
Das gleiche Experiment wurde wiederholt, aber dieses Mal wurden mehr GTD verwendet, um festzustellen, ob das Modell davon profitieren würde und ob bessere Ergebnisse erzielt würden. Den Ergebnissen zufolge hat sich die Genauigkeit aller Modelle erhöht, aber nur der Verlust von HyperNKNet50 und HyperNKNeXt50 ist zurückgegangen, und dieser Rückgang ist schädlich für die Leistung des Modells. Eine Erhöhung der GTD führte bei allen drei Modellen zu keiner signifikanten Veränderung des IoU. Im Allgemeinen schnitt HyperNKNet-B3 auch in diesem Test am besten ab.
Nun werden die Klassifizierungen der Nervenfasern erörtert, d. h. Hauptfaser und Verzweigung. Für das Training der GTD wurden die gleichen Architekturen wie im vorherigen Experiment verwendet. Aus den Ergebnissen der drei Modelle lässt sich ableiten, dass HyperNKNet-B3 das schlechteste Modell für die Klassifizierung von Nervenfasern war, da es hohe Verlustwerte und eine geringere Vorhersagegenauigkeit und IoU als die anderen Architekturen aufwies. Beim Vergleich der beiden verbleibenden Modelle wurde HyperNKNet50 als das bessere Modell gegenüber HyperNKNeXt50 ermittelt, da es niedrigere Verlustwerte und eine bessere Genauigkeit aufwies.
Dasselbe Experiment wurde noch einmal für die Klassifizierung von Nervenfasern durchgeführt, aber dieses Mal wurden mehr GTD verwendet, um zu sehen, ob das Modell davon profitieren würde und ob wir bessere Ergebnisse erhalten würden. Die Interpretation der Ergebnisse unserer drei Modelle zeigte, dass HyperNKNet-B3 das schwächste Modell für die Bestimmung von Nervenfasern war, da es im Vergleich zu den anderen Architekturen niedrige Werte (Genauigkeit und IoU) und hohe Verlustwerte aufwies. HyperNKNet50 war das beste Modell im Vergleich zu den anderen beiden Architekturen, da es genauer war und geringere Verlustwerte aufwies als HyperNKNeXt50. Wenn mehr GTD verwendet wurden, wurde das HyperNKNet50 genauer und besser als zuvor, aber andere Architekturen, insbesondere das HyperNKNet-B3, erhielten keinen signifikanten Vorteil durch eine größere Anzahl von GTD.
Interpretation von xAI
Zunächst wird das Thema der Nervenfasern behandelt. Es wurden drei Deep-Learning-Modelle mit drei verschiedenen Architekturen erstellt (HyperNKNet50, HyperNKNeXt50, HyperNKNet-B3). Wie unten dargestellt, war HyperNKNet-B3 das beste Modell für die Nervenfaser, da der Verlustwert bei dieser speziellen Architektur niedriger ist als bei den anderen Modellen und die Genauigkeit besser war als bei den anderen Architekturen.
Eine weitere in der xAI verfügbare Option zur Bestimmung empfindlicher Bereiche in einem Bild ist die Heatmap. Es wurden zwei Bilder von Nerven, die von NK betroffen sind, erstellt und Grad-Cam wurde auf diese Bilder angewendet. Die Bilder unten zeigen Regionen mit hoher Dichte und Empfindlichkeit der Nervenfasern als rot und Regionen mit geringerer Dichte und Empfindlichkeit der Nervenfasern als andere Farben als rot, je nach Grad.
Im Allgemeinen hat die Grad-CAM, die mit der HSA KIT-Software entwickelt wurde, den Vorteil, dass sie die Nervenfasern deutlich anzeigt und die Dichte und Empfindlichkeit des Grades bestimmt, außerdem können Sie leicht die Anzahl der Nerven finden oder feststellen, dass Nerven nicht erscheinen.
Die obige Abbildung zeigt die Empfindlichkeit und Dichte des Hornhautnervs, die durch die Anwendung der Aktivierungskarte ermittelt wurde.
Zusammenfassung und Ausblick
Im HSA KIT wurde eine pixelbasierte Segmentierung und Klassifizierung von annotierten Hornhautnerven mit Hilfe von Deep Learning durchgeführt. Außerdem wurde Grad-CAM verwendet, um das CNN zu visualisieren, um die Dichte und Empfindlichkeit der Nerven in HSA KIT mit Modul Neuro Keratopathie Bild zu bestimmen und wie das Netzwerk diese Entscheidungen trifft. Ziel dieser Arbeit ist es, die verschiedenen Deep-Learning-Architekturen zu vergleichen und festzustellen, welche Architektur am besten geeignet ist, diese Krankheit korrekt zu diagnostizieren. Außerdem soll die Auswirkung der Menge an GTD auf das Training des HSA KIT mit Modul Neuro Keratopathie bestimmt werden. Diese Befunde korrelieren stark mit NK. Mit Hilfe unserer Software werden wir diese Veränderungen erkennen und dem Augenarzt nützliche Daten für eine genaue und schnelle Diagnose liefern, damit die Behandlung eingeleitet werden kann. Sie kann auch zur Überwachung des Ansprechens auf die Behandlung verwendet werden.
