Die Untersuchung von Magen, Speiseröhre und Darm mit einem Endoskop dient der frühzeitigen Erkennung und Behandlung von Veränderungen des dortigen Gewebes. Aufgrund des eingeschränkten Sichtfeldes durch die endoskopische „Schlüssellochperspektive“ ist allerdings immer nur ein kleiner Ausschnitt der Wandungen sichtbar. Der Arzt muss das „Gesehene“ somit gedanklich zu einem „Gesamtbild“ zusammensetzen.
Zielsetzung des Projektes war es, Komponenten für eine echtzeitfähige Karthographie der Magen- und Darmwandungen zu entwickeln, mit denen der Arzt direkt während der Untersuchung ein Panorama-Bild der Hohlräume erhält und diese Panoramabilder für die vollständige Dokumentation der Untersuchung und ggf. der Eingriffe nutzen und an andere Ärzte übermitteln kann.
rechts: Drei aufeinanderfolgende Teilpanoramen einer realen Koloskopie (Quelle: Fraunhofer-Institut für Integrierte Schaltungen IIS)
Während in der digitalen Fotografie das Problem der Panoramaerzeugung mit sog. „Mosaicking“-Technologien „offline“ weitgehend als gelöst angesehen werden kann, bringt die Anwendung in der Endoskopie und speziell der flexiblen Endoskopie des Magens bzw. Darms zusätzliche Herausforderungen mit sich, die vor allem in der unregelmäßigen Geometrie und den Organbewegungen während der Untersuchung begründet liegen.
Am Beispiel des Dickdarms wurde eine partielle Panoramaerstellung der Dickdarmwandungen erforscht und implementiert. Im Arbeitsablauf wird dabei zunächst mittels KI-Verfahren die Tiefe aus den einzelnen Bildern approximiert. Anschließend werden die Tiefenkarten aufeinanderfolgender Einzelbilder miteinander fusioniert und die realen Gewebetexturen auf die 3D-Geometrie projiziert. Unter der Annahme, dass sich das Kolon abschnittsweise durch Röhrensegmente modellieren lässt, können diese Röhrenmodelle auf Teilpanoramen abgebildet werden. Das Verfahren läuft mit ca. 12-15 Bilder pro Sekunde und wurde an Kolonmodellen (Bild links) sowie realen Koloskopien (Bild rechts) evaluiert.
