Donate to arXiv
Title: CoMIR: Contrastive Multimodal Image Representation for Registration
Download PDF
Abstract: ehdotamme contrastive coding to learn shared, densive image representations,referred to as CoMIRs (Contrastive Multimodal Image Representations). Multimodaalisten kuvien rekisteröinti on mahdollista silloin, kun olemassa olevat rekisteröintimenetelmät usein epäonnistuvat riittävän samankaltaisten kuvarakenteiden puuttumisen vuoksi.Komirit vähentävät multimodaalisen rekisteröintiongelman monomodaaliseksi, jossa voidaan soveltaa yleisintensiteettipohjaisia sekä ominaisuuteen perustuvia rekisteröintialgoritmeja. Menetelmässä harjoitellaan yhtä hermoverkkoa modaliteettia kohti suunnatuilla kuvilla käyttäen vastakohtaista häviötä, joka perustuu kohinakontrastiseen estimointiin(InfoNCE). Toisin kuin muut kontrastiset koodausmenetelmät, joita käytetään mm., luokittelu, lähestymistapamme tuottaa kuvan kaltaisia representaatioita, jotka sisältävät modaliteettien välillä jaettua tietoa. Esittelemme uuden, hyperparametri-vapaa muutos InfoNCE, valvoa rotaatio equivarianceof oppinut edustustot, ominaisuus olennainen rekisteröintitehtävän.Arvioimme saavutetun pyörimisvarianssin laajuutta ja edustustojen vakautta painon alustuksen, harjoitussarjan ja hyppyparametriasetusten suhteen RGB-ja lähi-infrapuna-kuvien kaukokartoitusaineistolla. Arvioimme opitut edustustot rekisteröimällä abiomedical dataset bright-field – ja second-harmonic generation microscopyimages; kaksi modaliteettia, joilla on hyvin vähän näennäistä korrelaatiota. Ehdotettu Komireihin perustuva lähestymistapa päihittää huomattavasti GAN-pohjaisen kuvan kääntämisen luomien edustustojen rekisteröinnin sekä astaattisen sovelluskohtaisen menetelmän, jossa otetaan huomioon lisätietoa tiedoista. Koodi on saatavilla osoitteessa: tämä https URL.
