Donate to arXiv

Tytuł:CoMIR:Contrastive Multimodal Image Representation for Registration

Download PDF

Abstrakt: We propose contrastive coding to learn shared,dense image Representatives, called as CoMIRs (Contrastive Multimodal Image Representatives). Możliwe jest rejestrowanie obrazów multimodalnych, w przypadku gdy istniejące metody rejestracji często zawodzą z powodu braku wystarczająco podobnych struktur obrazu.CoMIRs redukuje problem rejestracji multimodalnej do monomodalnego, w którym można zastosować algorytmy rejestracji zarówno oparte na intensywności, jak i oparte na funkcjach. Metoda polega na szkoleniu jednej sieci neuronowej na jedną modalność na obrazach, przy użyciu kontrastowej utraty opartej na estymacji noise-contrastive (InfoNCE). W przeciwieństwie do innych metod kodowania kontrastowego, stosowanych np. do, klasyfikacja, nasze podejście generuje wizerunkowe reprezentacje, które zawierają informacje dzielone między modalnościami. Wprowadzamy nowatorską, wolną od hiperparametrów modyfikację InfoNCE, aby wymusić rotacyjną równoważność poznanych reprezentacji, właściwość niezbędną do zadania rejestracji.Zakres osiągniętej równoważności obrotowej i stabilność reprezentacji w odniesieniu do inicjalizacji ciężaru, zestawu treningowego i ustawień hiperparametru oceniamy na podstawie teledetekcyjnego zbioru danych RGB i bliskiej podczerwieni. Oceniamy wyuczone reprezentacje poprzez rejestrację abiomedycznego zbioru danych z mikroskopii pola jasnego i drugiej harmonicznej generacji; dwie modalności z bardzo małą pozorną korelacją. Proponowane podejście oparte na CoMIRs znacznie przewyższa rejestrację prezentacji stworzonych przez tłumaczenie obrazu-obrazu oparte na GAN, jak również nowoczesną, specyficzną dla aplikacji metodę, która uwzględnia dodatkową wiedzę na temat danych. Kod jest dostępny pod adresem:Ten adres URL https.