Spende an arXiv
Titel:CoMIR: Kontrastive multimodale Bilddarstellung zur Registrierung
Download PDF
Zusammenfassung: Wir schlagen kontrastive Codierung vor, um gemeinsame, dichte Bilddarstellungen zu lernen,die als CoMIRs (Contrastive Multimodal Image Representations) bezeichnet werden. COMIRSEN ermöglicht die Registrierung von multimodalen Bildern, bei denen bestehende Registrierungsmethoden häufig aufgrund fehlender ausreichend ähnlicher Bildstrukturen versagen.CoMIRs reduzieren das multimodale Registrierungsproblem auf ein monomodales, bei dem allgemeine intensitätsbasierte sowie merkmalsbasierte Registrierungsalgorithmen angewendet werden können. Die Methode beinhaltet das Training eines neuronalen Netzwerks pro Modalität aufausgerichtete Bilder unter Verwendung eines kontrastiven Verlusts basierend auf einer rauschkontrastiven Schätzung(InfoNCE). Im Gegensatz zu anderen kontrastiven Codierverfahren, die z.B.,Klassifizierung, unser Ansatz erzeugt bildähnliche Darstellungen, die die zwischen Modalitäten geteilten Informationen enthalten. Wir führen eine neuartige, hyperparameterfreie Modifikation von InfoNCE ein, um die Rotationsäquivalenz der gelernten Repräsentationen zu erzwingen, eine Eigenschaft, die für die Registrierungsaufgabe wesentlich ist.Wir bewerten das Ausmaß der erreichten Rotationsäquivalenz und die Stabilität der Darstellungen in Bezug auf Gewichtsinitialisierung, Trainingssatz und Hyperparametereinstellungen auf einem Fernerkundungsdatensatz von RGB- und Nahinfrarotbildern. Wir bewerten die gelernten Darstellungen durch Registrierung eines biomedizinischen Datensatzes von Mikroskopbildern der Hellfeld- und zweiten harmonischen Generation; zwei Modalitäten mit sehr geringer offensichtlicher Korrelation. Der vorgeschlagene Ansatz, der auf CoMIRs basiert, übertrifft die Registrierung von Darstellungen, die durch GAN-basierte Bild-zu-Bild-Übersetzung erstellt wurden, sowie eine anwendungsspezifische Methode nach dem neuesten Stand der Technik, die zusätzliches Wissen über die Daten berücksichtigt, erheblich. Code ist verfügbar unter: diese https-URL.
