Donazione di arXiv
Titolo:CoMIR: Contrastiva Multimodale Rappresentazione dell’Immagine per la Registrazione
Scarica il PDF
Abstract: proponiamo contrastiva di codifica per imparare condivisa, denso di immagini di rappresentazioni,di cui all’come CoMIRs (Contrastiva Multimodale Immagine Rappresentazioni). CoMIRsenable la registrazione di immagini multimodali in cui i metodi di registrazione esistenti spesso falliscono a causa della mancanza di strutture di immagine sufficientemente simili.I COMIR riducono il problema della registrazione multimodale a uno monomodale, in cui possono essere applicati algoritmi di registrazione generali basati sull’intensità e basati sulle funzionalità. Il metodo prevede l’addestramento di una rete neurale per modalità su immagini allineate, utilizzando una perdita contrastiva basata sulla stima contrasto-rumore(InfoNCE). A differenza di altri metodi di codifica contrastiva, utilizzati per, ad esempio, classificazione, il nostro approccio genera rappresentazioni simili a immagini che containthe informazioni condivise tra modalità. Introduciamo una nuova modifica senza iperparametri a InfoNCE, per applicare l’equivarianza rotazionale delle rappresentazioni apprese, una proprietà essenziale per il compito di registrazione.Valutiamo l’entità dell’equivarianza rotazionale raggiunta e la stabilità delle rappresentazioni rispetto all’inizializzazione del peso, al set di allenamento e alle impostazioni dell’iperparametro, su un set di dati di telerilevamento di immagini RGB e quasi infraredimages. Valutiamo le rappresentazioni apprese attraverso la registrazione di dataset abiomedici di immagini microscopiche a campo luminoso e di seconda generazione armonica; due modalità con pochissima correlazione apparente. L’approccio proposto, basato sui COMIR, supera in modo significativo la registrazionedelle rappresentanze create dalla traduzione immagine-immagine basata su GAN, nonché un metodo specifico per l’applicazione, che tiene conto di ulteriori conoscenze sui dati. Il codice è disponibile all’indirizzo: questo URL https.
