Doneren aan arXiv
Titel:CoMIR: Vergelijkend Multimodale Beeld voor Registratie
Download PDF
Abstract: Wij stellen vergelijkend programmeren om te leren gedeeld, dichte afbeelding verklaringen,bedoeld als CoMIRs (Vergelijkend Multimodale Afbeelding Vertegenwoordigingen). Comirseen registratie van multimodale beelden mogelijk wanneer bestaande Registratiemethoden vaak mislukken door een gebrek aan voldoende vergelijkbare beeldstructuren.CoMIRs reduceren het multimodale registratieprobleem tot een monomodaal probleem, waarbij zowel op algemene intensiteit gebaseerde als op functies gebaseerde registratiealgoritmen kunnen worden toegepast. De methode omvat het trainen van een neuraal netwerk per modaliteit opaligned beelden, met behulp van een contrastief verlies op basis van ruis-contrastieve schatting(InfoNCE). In tegenstelling tot andere contrastieve coderingsmethoden, gebruikt voor, bijv., classificatie, onze aanpak genereert beeld-achtige voorstellingen die de informatie die wordt gedeeld tussen modaliteiten bevatten. We introduceren een nieuwe, hyperparameter-vrije wijziging om te InfoNCE, om roterende equivariance van de geleerde representaties af te dwingen, een eigenschap die essentieel is voor de registratie taak.We beoordelen de mate van bereikte rotatie equivariantie en de stabiliteit van de representaties met betrekking tot gewicht initialisatie, training set, en hyperparameter instellingen, op een remote sensing dataset van RGB en near-infrared Images. We evalueren de geleerde representaties door registratie van abiomedische dataset van bright-field en second-harmonic generation microscopy Images; twee modaliteiten met zeer weinig schijnbare correlatie. De voorgestelde aanpak op basis van CoMIRs presteert aanzienlijk beter dan de registratie van representaties die zijn gemaakt door op GAN gebaseerde beeld-naar-beeldvertaling, evenals een state-of-the-art, toepassingsspecifieke methode die extra kennis over de gegevens in aanmerking neemt. Code is beschikbaar op: deze HTTPS URL.
