adomány az arXiv-nek

cím: CoMIR:Contrastive Multimodal Image Representation for Registration

PDF letöltése

absztrakt: javasoljuk a kontrasztív kódolást a megosztott,sűrű képábrázolások megtanulására, amelyeket CoMIRs-nek (Contrastive Multimodal Image Representations) neveznek. Lehetővé teszi a multimodális képek regisztrálását, ahol a meglévő regisztrációs módszerek gyakran kudarcot vallanak a kellően hasonló képstruktúrák hiánya miatt.A comir-ok a multimodális regisztrációs problémát monomodálisra csökkentik, amelybenáltalános intenzitás-alapú, valamint funkció-alapú regisztrációs algoritmusokat lehet alkalmazni. A módszer magában foglalja az egyik képzését neurális hálózat modalitásonként onaligated képek, a kontrasztív veszteség alapján zaj-kontrasztív becslés (InfoNCE). Ellentétben más kontrasztív kódolási módszerekkel, amelyeket pl., osztályozás, megközelítésünk képszerű ábrázolásokat generál, amelyek tartalmazzák a modalitások között megosztott információkat. Újszerű, hiperparaméter-mentes módosítást vezetünk be az InfoNCE-ba, a megtanult reprezentációk rotációs egyenlőségének kikényszerítésére, amely a regisztrációs feladathoz elengedhetetlen tulajdonság.Felmérjük az elért rotációs egyenértékűség mértékét és a reprezentációk stabilitását a súly inicializálás, a képzési készlet és a hiperparaméter beállítások tekintetében az RGB és a közeli infravörös képek távérzékelési adatkészletén. A tanult ábrázolásokat a fényes mező és a második harmonikus generációs mikroszkópképek abiomedical adatkészletének regisztrálásával értékeljük; két mód, nagyon kevés látszólagos korrelációval. A Comir-okon alapuló javasolt megközelítés jelentősen felülmúlja a GAN-alapú image-to-image fordítással létrehozott reprezentációk regisztrálását, valamint a legkorszerűbb, alkalmazásspecifikus módszert, amely további ismereteket vesz figyelembe az adatokról. A kód a következő címen érhető el:ez a https URL.