Donar a arXiv
Título: CoMIR: Representación Contrastiva de Imágenes Multimodales para Registro
Descargar PDF
Resumen: Proponemos la codificación contrastiva para aprender representaciones de imágenes densas compartidas, denominadas CoMIRs (Representaciones Contrastivas de Imágenes Multimodales). Comir permite el registro de imágenes multimodales cuando los métodos de registro existentes a menudo fallan debido a la falta de estructuras de imagen suficientemente similares.Los CoMIRs reducen el problema del registro multimodal a uno monomodal, en el que se pueden aplicar algoritmos de registro basados en la intensidad general y en las características. El método consiste en entrenar una red neuronal por modalidad en imágenes alineadas, utilizando una pérdida contrastiva basada en la estimación contrastiva de ruido(InfoNCE). A diferencia de otros métodos de codificación contrastiva, utilizados para, p.ej., clasificación, nuestro enfoque genera representaciones similares a imágenes que contienen la información compartida entre modalidades. Introducimos una nueva modificación sin hiperparámetros en InfoNCE, para imponer la equivalencia rotacional de las representaciones aprendidas, una propiedad esencial para la tarea de registro.Evaluamos el alcance de la equivalencia rotacional alcanzada y la estabilidad de las representaciones con respecto a la inicialización de pesos, el conjunto de entrenamiento y la configuración de parámetros de hiperparámetros, en un conjunto de datos de teledetección de imágenes RGB y casi infrarrojas. Evaluamos las representaciones aprendidas a través del registro de conjuntos de datos médicos abiomédicos de microscopimágenes de campo brillante y generación de segundo armónico; dos modalidades con muy poca correlación aparente. El enfoque propuesto basado en CoMIRs supera considerablemente el registro de las representaciones creadas por la traducción de imagen a imagen basada en GAN, así como un método avanzado y específico de aplicación que tiene en cuenta conocimientos adicionales sobre los datos. El código está disponible en: esta URL https.
