donează către arXiv
Titlu: CoMIR: Contrastive Multimodal Image Representation for Registration
Download PDF
rezumat: propunem codarea contrastivă pentru a învăța reprezentări comune, dense ale imaginii,denumite Comiri (reprezentări de imagini multimodale Contrastive). Activarea înregistrării imaginilor multimodale în cazul în care metodele de înregistrare existente eșuează adesea din cauza lipsei unor structuri de imagine suficient de similare.Comirurile reduc problema înregistrării multimodale la una monomodală, în carese pot aplica algoritmi de înregistrare pe bază de intensitate generală, precum și pe bază de caracteristici. Metoda implică formarea unei rețele neuronale pe modalitate peimagini aliniate, folosind o pierdere contrastivă bazată pe estimarea zgomotului-contrastiv(InfoNCE). Spre deosebire de alte metode de codificare contrastivă, utilizate pentru, de ex., clasificare, abordarea noastră generează reprezentări asemănătoare imaginii care conțininformațiile partajate între modalități. Introducem o nouă modificare Fără hiperparametru la InfoNCE, pentru a impune echivarianța rotativă a reprezentărilor învățate, o proprietate esențială pentru sarcina de înregistrare.Evaluăm amploarea echivarianței de rotație realizată și stabilitatea reprezentărilor în ceea ce privește inițializarea greutății, setul de antrenament și setările hiperparametrului, pe un set de date de teledetecție a imaginilor RGB și aproape infraroșii. Evaluăm reprezentările învățate prin înregistrarea setului de date abiomedicale de imagini microscopice de câmp luminos și de a doua generație armonică; două modalități cu o corelație aparentă foarte mică. Abordarea propusă bazată pe CoMIRs depășește în mod semnificativ înregistrarea reprezentărilor create de traducerea imagine-la-imagine bazată pe Gan, precum și o metodă specifică de ultimă oră, specifică aplicației, care ia în considerare cunoștințele suplimentare despre date. Codul este disponibil la: această adresă URL https.
