Darovat arXiv

Název:Trvá: Kontrastivní Multimodální Reprezentace Obrazu pro Registraci

ke Stažení PDF

Abstrakt: navrhujeme kontrastivní kódování se naučit sdílet, husté image reprezentace,označované jako CoMIRs (Kontrastivní Multimodální Reprezentace Obrazu). CoMIRsenable registrace multimodálních obrazů, kde stávající registracemetody často selhávají kvůli nedostatku dostatečně podobných obrazových struktur.CoMIRs snížení multimodální registrace problém s monomodální, v whichgeneral na základě intenzity, stejně jako funkce na bázi, registrace algoritmy lze aplikovat. Metoda zahrnuje trénink jedné neuronové sítě na modalitu na zarovnaných obrázcích pomocí kontrastní ztráty založené na odhadu šumu(InfoNCE). Na rozdíl od jiných kontrastních kódovacích metod používaných např., klasifikace, náš přístup generuje obrazové reprezentace, které obsahujíinformace sdílené mezi modalitami. Představujeme nový, hyperparametr bez modifikace InfoNCE, prosadit rotační equivariance naučených reprezentací, vlastnost nezbytná pro registrační úkol.Jsme posoudit rozsah dosaženo rotační equivariance a stability finan prohlášení, s ohledem na hmotnost inicializace, školení set, andhyperparameter nastavení, na dálkové snímání dat RGB a okolí-infraredimages. Vyhodnocujeme naučené reprezentace registrací abiomedicínského datového souboru mikroskopických obrazů jasné pole a druhé harmonické generace; dvě modality s velmi malou zjevnou korelací. Navrhovaný přístup založený na komiksech výrazně překonává registraci reprezentací vytvořených překladem obrazu na obrázek na základě GAN, stejně jako metoda specifická pro aplikaci, která bere v úvahu další znalosti o datech. Kód je k dispozici na adrese: Tato adresa URL https.