Doner til arXiv
Title: CoMIR:Kontrastiv Multimodal Bilderepresentasjon For Registrering
Last NED PDF
Abstract: Vi foreslår kontrastiv koding For å lære delte, tette bilderepresentasjoner,referert Til Som Comirer (Kontrastiv Multimodal Bilderepresentasjoner). CoMIRsenable registrering av multimodale bilder der eksisterende registreringsmetoder ofte mislykkes på grunn av mangel på tilstrekkelig lignende bildestrukturer.CoMIRs reduserer multimodal registreringsproblem til en monomodal, dergenerell intensitetsbasert, samt funksjonsbasert, registreringsalgoritmer kanbrukes. Metoden innebærer å trene ett nevralt nettverk per modalitet påjusterte bilder, ved hjelp av et kontrastivt tap basert på støykontrastiv estimering (InfoNCE). I motsetning til andre kontrastive kodingsmetoder, som brukes til f. eks., klassifisering, vår tilnærming genererer bildelignende representasjoner som inneholderinformasjonen som deles mellom modaliteter. Vi introduserer en roman, hyperparameter-fri modifikasjon Til InfoNCE, å håndheve rotasjons equivarianceof lært representasjoner, en egenskap avgjørende for registrering oppgave.Vi vurderer omfanget av oppnådd rotasjonsekvivarians og stabiliteten til representasjonene med hensyn til vektinitialisering, treningssett og hyper-parameterinnstillinger, på et fjernmålingsdatasett AV RGB og nær-infrarødbilder. Vi vurderer de lærte representasjonene gjennom registrering av abiomedical datasett av lystfelt og andre harmoniske generasjonsmikroskopibilder; to modaliteter med svært liten tilsynelatende korrelasjon. Den proposedapproach basert På CoMIRs betydelig utkonkurrerer registrering ofrepresentations skapt AV GAN-basert bilde-til-bilde oversettelse, samt astate-of-the-art, programspesifikk metode som tar ekstra knowledgeabout dataene i betraktning. Koden er tilgjengelig på: dette https URL.
