arXivに寄付

Title:CoMIR:Contrastive Multimodal Image Representation for Registration

Download PDF

Abstract:我々は、CoMIRs(Contrastive Multimodal Image Representations)と呼ばれる共有された高密度画像表現を学ぶための対照的な符号化を提案する。 既存の登録方法が十分に類似した画像構造の欠如のために失敗することが多いマルチモーダル画像の登録をCoMIRsenable。Ｃｏｍｉｒｓはマルチモーダル登録問題をモノモダル問題に減らし，一般的な強度ベースと特徴ベースの登録アルゴリズムを適用することができる。 この方法は，雑音対照推定（Ｉｎｆｏｎｃｅ）に基づく対照損失を用いて，整列画像上のモダリティごとに一つのニューラルネットワークを訓練することを含む。 他の対照的な符号化方法とは異なり、例えば以下のために使用される。,分類,我々のアプローチは、モダリティ間で共有される情報を含む画像のような表現を生成します。 登録タスクに不可欠な特性である学習した表現の回転等分散を強制するために，Ｉｎｆｏｎｃｅに対する新しいハイパーパラメータのない修正を導入した。ＲＧＢと近赤外画像のリモートセンシングデータセット上で，達成された回転等分散の程度と，重みの初期化，トレーニングセット，および過パラメータ設定に関する表現の安定性を評価した。 明視野と第二高調波発生顕微鏡画像のアビオメディカルデータセットの登録により，学習した表現を評価した。 CoMIRsに基づく提案されたアプローチは、GANベースの画像から画像への変換によって作成された表現の登録と、データに関する追加の知識を考慮したアステ コードは次の場所で利用できます：このhttps URL。