donera till arXiv
Titel: CoMIR: Contrastive Multimodal bildrepresentation för registrering
ladda ner PDF
sammanfattning: vi föreslår kontrastiv kodning för att lära oss delade, täta bildrepresentationer,kallade CoMIRs (Contrastive Multimodal Image Representations). CoMIRsenable registrering av multimodala bilder där befintliga registreringmetoder ofta misslyckas på grund av brist på tillräckligt liknande bildstrukturer.CoMIRs reducerar det multimodala registreringsproblemet till en monomodal, därallmän intensitetsbaserad, såväl som funktionsbaserad, registreringsalgoritmer kan tillämpas. Metoden innebär att träna ett neuralt nätverk per modalitet påjusterade bilder, med hjälp av en kontrastiv förlust baserad på bruskontrastiv uppskattning(InfoNCE). Till skillnad från andra kontrastiva kodningsmetoder, som används för, t. ex., klassificering, vårt tillvägagångssätt genererar bildliknande representationer som innehållerinformationen delas mellan modaliteter. Vi introducerar en ny, hyperparameterfri modifiering till InfoNCE, för att genomdriva rotations equivarianceof de lärda representationerna, en egenskap som är väsentlig för registreringsuppgiften.Vi bedömer omfattningen av uppnådd rotationsjämvikt och stabiliteten hos representationerna med avseende på viktinitiering, träningsuppsättning och hyperparameterinställningar, på en fjärranalys dataset av RGB och nära infraröda bilder. Vi utvärderar de lärda representationerna genom registrering av abiomedical dataset av ljusfält och andra harmoniska generationsmikroskopibilder; två modaliteter med mycket liten uppenbar korrelation. Den föreslagna metoden baserad på Komirer överträffar betydligt registreringavrepresentationer som skapats av GAN-baserad bild-till-bild-översättning, liksom enstatlig, applikationsspecifik metod som tar hänsyn till ytterligare kunskap om uppgifterna. Koden finns på: denna https-URL.
