[2006.06325] CoMIR: kontrastiv Multimodal billedrepræsentation til registrering
Titel: CoMIR:contrastive Multimodal Image Representation for Registration
Hent PDF
abstrakt: vi foreslår kontrastiv kodning for at lære delte, tætte billedrepræsentationer,kaldet CoMIRs (kontrastive multimodale Billedrepræsentationer). Registrering af multimodale billeder, hvor eksisterende registreringsmetoder ofte mislykkes på grund af mangel på tilstrækkeligt lignende Billedstrukturer.CoMIRs reducerer det multimodale registreringsproblem til et monomodalt, hvorgenerel intensitetsbaseret såvel som funktionsbaseret registreringsalgoritmer kan anvendes. Metoden indebærer træning af et neuralt netværk pr. modalitet påjusterede billeder ved hjælp af et kontrastivt tab baseret på støjkontrastiv estimering(InfoNCE). I modsætning til andre kontrastive kodningsmetoder, der anvendes til f. eks., klassificering, vores tilgang genererer billedlignende repræsentationer, der indeholderoplysningerne deles mellem modaliteter. Vi introducerer en roman, hyperparameterfri ændring til InfoNCE, for at håndhæve rotationsækvivalens af de lærte repræsentationer, en ejendom, der er afgørende for registreringsopgaven.Vi vurderer omfanget af opnået rotationsækvivalens og stabiliteten af repræsentationerne med hensyn til vægtinitialisering, træningssæt, oghyperparameterindstillinger, på et datasæt til fjernmåling af RGB og næsten infrarøde billeder. Vi evaluerer de lærte repræsentationer gennem registrering af abiomedicinsk datasæt af lysfelt og anden-harmonisk generation mikroskopibilleder; to modaliteter med meget lidt tilsyneladende korrelation. Den foreslåede tilgang, der er baseret på CoMIRs, overgår væsentligt registreringen af repræsentationer oprettet ved GAN-baseret billede-til-billede-oversættelse, samt en moderne, applikationsspecifik metode, der tager yderligere viden om dataene i betragtning. Kode er tilgængelig på: denne https URL.
