蔡欣翰 || Medical Image Registration || 2024/1/17 ||

[音樂] 大家好，我是 臺灣大學元實驗室的shinhan， 好吧，今天我很高興 來到這裏，爲您介紹 醫學圖像 配準領域，我們將首先 介紹圖像 配準的工作流程，如下 我們將 深入 研究工作流程中的每個組件，涵蓋變換 相似性 優化，最後我們將以 教程結束。好吧，讓我們首先 瞭解什麼是醫學圖像 配準， 這裏我們有兩個 圖像，一個稱爲固定 圖像，另一個稱爲固定圖像。 另一種是運動 圖像，配準的目的是 變換運動 圖像 ，並將其與固定圖像對齊， 例如圖 中的固定圖像和運動 圖像是來自同一患者的 Mr 和 CD 圖像， 但它們是 圖像配準後面向不同的方向， 我們將生成的圖像稱爲 扭曲 圖像，扭曲圖像現在與 固定 圖像對齊，好吧，爲什麼圖像配準 如此 重要，我們可以識別五個 潛在的用 例，進行診斷規劃 治療 指導治療、監測 疾病進展並比較 患者 皮質以進行說明，考慮 第一列中的圖，我們 從不同視圖捕獲 P1 圖像，呃， 在第三列中顯示品牌結構，寵物 圖像顯示了 中央列中的圖例狀態，我們看到 P1 和寵物圖像的融合結合了 兩種模式的優點， 該圖像增強了 在 醫學成像內的各種醫療場景中做出更明智決策的能力，我們可以 根據 變換交互 模式的維度性質對各種配準類型進行分類，主題和 變換域爲 考慮 涉及相同 模態的單模態的一個例子，我們可以進一步區分 左側的主體內和主體間場景， 兩個 圖像來自同一患者並且具有 相同的模態 先生， 當患者經歷兩個先生的情況時，可能會出現這種情況 註冊後一年內進行掃描 醫生可以 有效地比較 右側綜合分析中的兩張圖像 兩張 Mr 掃描來自兩位不同的 患者 當 我們最終將個人圖像 與標準品牌或 atas 對齊時，可能會出現 Le 場景 爲了 進一步研究和 分析，接下來讓我們 在左側看到多模態 Mr 和 CT 圖像來自同一 患者 當 醫生要求 來自不同 模態的附加信息以增強 診斷時，可能會出現這種情況，而在右側 我們看到兩個 不同模態的圖像， 在右側，這兩個 圖像是不同的模態，來自 不同的 患者，此應用場景 類似於上一頁所示的單一模態 主體間圖像， 在這種情況下，我們可以對齊 單個患者圖像或多個患者圖像 將 患者圖像轉換爲標準品牌或 圖集，便於對 特定 疾病進行分析現在讓我介紹一下 圖像配準的工作流程， 開始我們建立一些 符號 IM movingrefer uh 代表 移動圖像 Ifix 代表 固定 圖像，IW 通常是變換後的 圖像 呃，我們將其稱爲戰爭 圖像，另外，T 表示 變換，S 是 量化 兩個 圖像之間相似性的相似函數，假設我們的目標是將 運動圖像與 第一步中的固定圖像對齊，我們將變換 P 應用於 產生戰爭圖像的移動 圖像第二步計算損失，該損失 相當於負 相似度，如果戰爭圖像 uh 如果 戰爭圖像並且接近固定 圖像，則相似度很大， 導致較小的損失 值 uh 步驟 三如果過程收斂， 工作流輸出優化的 變換和警告 圖像，如果未實現收斂，則 更新變換並且過程返回到 第一步本質上它成爲一個 優化 問題 理解這個過程 在圖像 配準中非常重要好吧這裏是 在簡化 版本中，我們在下面的幻燈片中強調了 工作流 變換相似性和 優化中的關鍵組件，我們 將詳細探討每個組件 好的 變換變換可以在線性變換的 背景下分爲線性和非線性變換 我們將探索剛性和非線性變換 aine 變換 剛性 變換包括旋轉 和 平移，它保留了 直線和角度的所有距離直線度， 例如在 2d 中，在 2d 剛性 配準中，我們將旋轉矩陣 應用於座標向量並添加 平移 向量該方程涉及三個參數 參數 包括一個旋轉 參數 Theta 和兩個平移 參數 T1 和 T2 爲方便起見，我們經常以齊次座標 形式表達方程，其中 剛性配準可以 表示爲矩陣 T 乘以向量 X TAA 此外，在 3D reg 配準中 有六個參數 參與 變換 好吧，現在讓我們繼續討論 aine 變換和 剛性呃剛性 變換的擴展，它包含 縮放和技能操作。我們首先 介紹 與剛性 變換相結合的縮放，縮放表示爲對 角 矩陣，它可以放大 或 每個方向上的字符串對象， 這裏 R 是旋轉矩陣， T 是平移 向量，在 3D 情況下，它總共涉及九個 參數，包括三個平移 參數、三個旋轉和三個 縮放 ve 參數，現在讓我們探索一個保留 直線度的精細變換 和 並行性， 但是呃，但它不保留 距離和 角度好吧，fin 變換可以表示爲 a， 因爲 XA 等於 uh 等於 ax 加 T 3D 離線變換涉及 12 個參數， 現在讓我們看看非線性 變換 具體來說，我們將重點 關注對稱圖像 歸一化方法，這是 我們在教程中使用的包中的主要算法， 該算法很複雜，因此 我將通過該圖提供概述， 讓我們首先考慮兩個圖像 I 和 J 該算法採用 b 方向 方法意味着圖像 I 轉換爲圖像 J， 同時圖像 a 也 轉換爲圖像 I 第二，他們將 轉換過程概念化爲從 零 uh 從時間點 0 到時間 點 1 的時間線，將其劃分爲多個時間 點 第三，變換圖像 時間 點 0.5 在 從 I 到 J 的變換方向上的兩個變換方向上應該一致，時間 點 0.5 的圖像就是這個，從訓練 方向 J 到 I 的 時間點 0.5 就是這個， 最終該算法確保 從時間點 0 到時間點 0.5 的變化在兩個變換方向上是一致的， 這意味着這兩個 變化應該是 相同的。現在讓我們看看能量 函數， 也稱爲目標 函數，該函數包含兩項， 呃，讓我們先看看第二項 呃當變換 圖像I和J在時間上相同時。 0.5 M 最小值是 達到的最小值，繼續第一項， 它表示 從時間點 0 到 5 期間從 I 到 J 方向的變化，另一個表示在時間點 0 到 5 期間從 J 到 I 方向的可怕變化 相同的時間 段，這裏的方形符號 表示當兩種變化相同時會出現最小值 好吧，現在我們已經討論了線性 和非線性變換，但是我們什麼時候 應該應用線性變換 ，什麼時候非線性變換 在大腦圖像中更適合用於受試者 體內配 準呃 對於受試者內註冊， 線性變換通常是合適的， 這是因爲腦組織的形狀 相對穩定， 在呼吸或 線 角度變化時不會顯着變形，另一方面，在受試者間 註冊中，其中 兩個布林內的形狀 患者 不同，因此 在應用非線性變換時，需要非線性變換來對齊 L 的有效性。 許多算法 設計爲最初應用線性 變換來粗略對齊，然後將 非線性變換 應用於 uh 以進行更精細的 對齊，這兩步方法有助於 實現更準確的對齊 準確和 高效的 註冊現在讓我們繼續討論下一個 組件 相似性呃我們將討論兩種類型 的基於特徵的相似性和基於強度的相似性， 在本次會議中，我們的重點 將是基於特徵的相似性 和註釋特徵（ 例如點）中基於強度的相似性 需要線條和輪廓， 例如測量 暖圖像 和固定圖像中對應點之間的距離 Ser 作爲 相似性 矩陣替代方案， 形式圖像和固定 圖像中分割的骰子分數也可以測量 相似性特徵 我的具體 假設是，它們應該 是 在兩個圖像中都可見的地標 V，並且 它們的位置是 可靠的，並且它們有能力 指導 基於相似性的對齊強度，其中涉及 優化 直接 從圖像中的 V 源計算的一些度量，從而 消除了需要 對於 帶註釋的帶註釋的 Larks，因此使其成爲一種無監督 方法呃，我們將重點關注 四種測量，包括一些 平方強度差、 絕對強度差之和、 相關係數和互 信息，對於平方 強度 差的 Su，我們計算 vxo vxo 明智的減法 圖像 A 和 B 之間的 PL 後跟平方 值之和，此方法往往在圖像採集之間 只有一小部分 對齊的 vles 可能 發生變化時效果很好， 但如果 數據發散，則可能會失敗 與理想情況相比， 如果 圖像 A 和 B 中的強度線性 相關，那麼相關係數可以 作爲理想的相似性度量，通過使用絕對差值 Su 可以減少該離羣值 V 源的影響， 這在以下情況中特別有用 然而，當 強度顯着不同時， 例如在 MR2 CT 配準中， 它顯示了 CT 和 T2 圖像中 CT 和 T2 圖像中不同對象之間強度的相關性。 兩幅圖像 在空氣區域具有低強度值， 但 CT 在骨骼中具有高強度值， 而 T2 在骨骼中仍然具有呃低 強度 LS 解釋了爲什麼 相關係數現在無法進行多 模態 配準，在介紹 互信息之前， 瞭解細胞的概念很重要 信息和 熵 自信息與事件的 不確定性成正比， 例如，東方日出 表明不 確定性爲零，導致 自信息等於零， 另一方面，聰明的學生未通過 考試，該事件的概率很低， 因爲聰明的學生 學生預計會 通過考試，因此較低的 概率會導致較高的 自我信息， 自我信息的定義等於圖中 事件 X 的概率的負對數， 我們可以觀察到 呃 I ofx 是 當 X 的 P 在 0 和 1 之間時，自信息大於零 uh， 並且當 x 的 P 等於 1 時，x 的 I 等於 0，表示最低不確定性 不確定性，因爲 X 的 P 減小， 則 x 的 I 增加，如果 PX 是 獨立 概率 P1 * P2 的乘積，那麼 I ofx 等於 X 的 i1 加 X 的 I2 接下來讓我們討論香農 熵，它是 20 世紀 40 年代通信理論的一部分而發展起來的。熵是對 平均 不確定性的度量。 隨機 變量定義爲變量自信息的期望值 例如假設有三個 獨立事件a b和c a 當概率一/二時發生B當 概率1 over4時發生並且C發生當 概率1 over4時 然後uh然後uh然後 熵將等於 1.5 接下來讓我們討論如何計算 圖像的熵考慮具有如圖所示像素值的圖像， 首先我們爲 每個像素 值創建一個直方圖，例如有兩個 像素大於或 等於大於或等於 將這 兩個歸零，因此該旋轉有兩個 分量，然後將計數 除以 像素總數，這給出了 代表 概率密度 函數的相對頻率，最後我們應用 熵的定義來計算 圖像的熵，接下來讓我們討論如何 計算兩個圖像的聯合熵， 例如 假設 u 和 v 是兩個圖像，首先 識別兩個圖像的聯合強度， 這裏是一張，這裏是 31，這裏是 03，依此類推， 然後計算該 聯合 強度的直方圖，例如有 兩個 一一在 強度聯合中，因此在直方圖中座標中有兩個點 一一 利用該直方圖我們 可以導出相對頻率， 最後應用熵的定義 來計算 這裏兩個圖像的聯合熵爲 左側聯合直方圖的可視化 uh IM X 和 Y 是 相同的，導致聯合直方圖在 圖像 Y 旋轉時在另一側形成對角矩陣，然後基於熵，聯合直方圖現在變得 更加 複雜 聯合 熵我們可以計算互 信息請參考 這裏的圖這裏h a代表 圖像a的熵h B PL代表 圖像B PR的熵，H of a b PR 代表圖像 A和B PL的聯合熵 a b PL的互信息I 從信息方面用重疊區域來表示， 越大則 表示 兩幅圖像之間的Shar信息量越大。 最後的優化 方法，優化過程可以 使用基於梯度的 算法來解決，以防止 局部 最小值 MTI 分辨率方法 最初是在低分辨率圖像 上迭代變換的優化， 經過一定次數的 迭代後，然後將優化 應用於更高分辨率的圖像， 依此類推， 結合我們之前提到的策略 uh 策略 公司註冊過程 涉及首先 使用多分辨率 策略優化熊註冊然後 使用 相同的多分辨率 方法優化非線性註冊現在讓我們有一個 教程好吧呃有幾個 開源註冊包 可用，例如 itk simple itk 和 3D 切片機 FSL 和 SPM，我們今天有兩個多模態教程， 一個用於 對象內涉及同一 患者的圖像，另一個用於對象間 處理來自兩個 不同患者的圖像現在請將 數據快捷方式添加到您的驅動器中，單擊 此處提供的私人鏈接，以便您可以在 此處創建快捷方式後立即執行此操作， 您應該看到這樣的網頁， 請再次鍵入鏈接 ，然後單擊“到達 數據 組織爲 快捷方式”，然後選擇 我的驅動器和的所有位置 單擊“ 添加”， 好的，您已經 完成了這個 過程，您可以單擊此處協作下面的“呃”之後的鏈接， 然後單擊“複製”以 驅動到 此處的網頁，所以我會給您呃 3 分鐘的時間來 完成 此操作， 好的 [音樂] 速度 [音樂] ] 好吧， 現在好吧，讓我們開始 教程，您可以在此處創建按鈕 來擴展目錄，現在 您可以看到我們這裏有兩個示例，一個 是主題內，呃主題內， 另一個是對象間 教程， 好的，首先 嗯安裝後，您 可以執行單元格，您可以按 Shift 和 Enter 按鈕，或者您可以 在此處添加呃創建運行按鈕來運行所有單元格， 在您需要的第一個舊版本中，您 允許筆記本訪問您的 Google Drive 文件，因此創建連接到 Google Drive 並 呃接受 它，好吧，下一個 單元格安裝結束呃結束 包， 好的，您正在下載該包並 安裝 它，好的 Excel，我們導入這四個 包，然後在 [音樂] 之前， 我們呃之前 註冊請確保您已 添加驅動器的快捷方式數據 快捷方式 好吧我們有兩個函數我們 在這裏定義了兩個函數這一個剪輯 強度 函數呃它根據 窗口級別和窗口 寬度剪輯圖像並且函數可視化可以 顯示 一些尺寸的 皮膚，讓我們定義圖像的路徑， 請知道我們假設您已經 在驅動器中創建了一個快捷方式， 並按 n 讀取圖像。 圖像 讀取 C7 C7 move 和 M7 來自同一 患者 mni i52 是標準品牌圖像， mni 52 seg 是註冊前標準品牌的分割掩模 我們重新對所有圖像進行採樣 讓我們 看看打印輸出 結果 我們可以看到 CT 圖像的尺寸 爲 uh 164 1 94 和 42 標準 品牌的尺寸爲 1 93 229 和 1 193 並且它們的間距均爲 111 好的，在示例 一中，我們在第一步中執行受試者內 多模態 配準， 我們設置 固定圖像和電影 圖像，在第二步中，我們在配準之前可視化 圖像，在 第三步中，我們應用 剛性 配準，在第四步中，我們在 配準後可視化圖像哦，好吧，我們設置 M，我們 將 Mr 圖像設置爲固定圖像 CT 運動圖像作爲運動圖像，我們 還剪輯運動圖像（CT 圖像），我們保留其強度，並將其 作爲剪輯運動 圖像在配準之前讓我們 可視化固定圖像運動圖像 和剪輯運動 圖像，很明顯， 固定 圖像和移動圖像具有 不同的 方向剪輯移動圖像顯示了節目 呃剪輯移動圖像允許 我們觀察雙槳內部的細節， 並且在步驟三中我們 應用剛性 配準，而不是 我們通過n應用rid配準。 配準，而不是嚴格的變換類型， 好吧，結果是一本 字典，結果是一本 日記，呃，包括什麼移出什麼， 修復正向變換和逆 變換什麼移出 是呃，什麼移出是 由 I 的 T 計算的工作圖像 移動 正常，解決的是 mo 是 由 iix 的 T 逆變換 和正向變換完成的圖像，這裏是 路徑列表 uh 是正向變換 T 的臨時 s PA 的列表 ， 逆 變換是 臨時的列表 sa sa uh sa PES 的 逆變換 T 逆 好的，在第四步中，讓我們 可視化配準結果，因爲您 可以 看到戰爭 圖像現在與固定 圖像對齊，接下來在示例 二中，我們有一個關於主體間 多模態配準的教程， 步驟如下 與示例一類似， 主要區別在於 非線性 變換的利用首先我們設置 固定圖像和 移動 圖像呃我們將標準品牌 mni152 設置爲固定圖像，將城市 圖像設置爲移動圖像，我們還 現在有 一個剪輯移動 圖像，正如您從 固定圖像和 剪輯移動圖像的可視化中看到的那樣，它們的 大小和 形狀不同，因爲有兩個不同的 患者，第一個 R 是 標準品牌或 Atlas，第二行 是病人，所以他們非常 不同哦， 抱歉，因爲互聯網壞了， 所以我們必須重新運行所有銷售， 因爲 非線性 註冊可能需要呃 1 分鐘或 2 分鐘，好吧，讓我們 繼續， 我們設置類型的類型 變換形式爲 Sy YN ，這是 非線性的請注意，該過程 包括通過多分辨率方法優化的線性變換和 非線性 變換， 正如我們 之前在幻燈片中提到的，如您 所見， 哦， 好吧，它 完成了，您可以看到前面的內容 呃這裏它是一個 列表列表類型，它包含兩個 PS，一個是艾因 變換，一個是 非線性變換， 好吧，除了 這兩個臨時路徑中的兩個變換以及 逆 變換之外，我們還有我們也 有 這裏有兩條呃路徑 ，最後在第四步中我們可以看到 W 圖像與固定圖像對齊， 現在固定圖像第一行是 標準品牌固定圖像，第二 行是扭曲 圖像，所以這是視覺 可視化 配準後和 配準前它們非常不同， 配準後它們非常 相似好吧最後我們有一個 分割 到目前爲止我們觀察到我們 使用的配準方法是無監督的接下來我們 通過圖像配準展示無監督分割 好吧假設我們有 atas 或標準品牌及其 分割 掩模 然後我們可以導出分割 掩模 呃掩模適用於任何患者 不是說 這種方法適用於不需要精確分割的情況 呃 好吧 呃 iFix 是圖集的圖像， MX 是分割掩模 這兩個圖集已經是已知的， 並且移動是 移動圖像的所需分割最大值， 這是我們想要 導出的客觀信息，現在在 前面的配準步驟的前面步驟中，我們 已經有了這個 I 移動，I I W 等於 I 移動的 T ，我們只需要使用 逆變換將 MX 變換 爲 m 移動，所以讓我們看看 可視化結果， atas 圖像及其分割 Max 顯示在第一 行，因爲我們有 將移動 圖像與 atas 對齊，以便我們導出 W 圖像及其分割 Max 和它的分割， 實際上是 n 固定，最後我們將 t t 逆 變換應用於變換後的 uh 並 固定到移動，以便我們直接 分割 請注意， 如果您有註釋 數據，則配準可能不準確。以監督方式訓練深度學習模型 是更好的方法 ，感謝您的 聆聽