近期，國際著名的醫學圖像處理領域會議Miccai（Medical Image Computing and Computer-Assisted Intervention）上發表了莫納什大學戈宗元教授團隊與Airdoc人工智能團隊合作的題為：“Retinal Abnormalities Recognition Using Regional Multitask Learning”的研究論文。莫納什大學是澳大利亞規模最大的國立大學之一，其藥劑與藥理學專業位列全球第二位，僅次于哈佛大學。

研究團隊提出了一種基于深度學習的新方法，使用一個區域特定的多任務識別模型，通過三個子網絡學習視網膜不同區域的疾病。這三個子網絡通過訓練，分別識別影響視盤、黃斑和整個視網膜的疾病。以往基于深度學習自動篩查的研究主要集中在特定類型的視網膜疾病，但患者通常會同時患有多種視網膜病變，單一的解決方案在臨床應用上就顯得有些力不從心，而此次研究成果可通過一個模型識別出36種不同的視網膜疾病，并且能夠同時識別視網膜上的多種疾病，大大提升了人工智能識別視網膜疾病的可應用性。

患有視網膜疾病的人數隨著人口老齡化和電子屏幕的普及而增加，許多視網膜疾病，例如年齡相關性黃斑變性（AMD）和糖尿病性視網膜病變（DR），會造成不可逆的嚴重健康問題。與此同時，在三四線城市中，能夠檢查和醫治視網膜疾病的醫生鳳毛麟角，醫療資源緊張，不少人因此錯失了治療的最佳時機。本次研究成果可以不依賴醫生，直接使用人工智能算法識別，在確保同樣識別率的前提下，極大程度的提高了效率，同時也能幫助醫療資源緊缺的區域提高醫療質量。

△ 多標簽分類網絡

研究團隊以多任務的方式設計網絡，框架包括兩個階段：

第一階段包括一個聯合檢測網絡，用于檢測視盤和黃斑區。

第二階段由一個語義多任務網絡組成，每個任務通過特定區域相關疾病標注數據的訓練，同時輸出整個眼底、視盤和黃斑的疾病類別，如圖1所示。

為了評估提出方法的性能，研究團隊收集了36種在篩查過程中常見的視網膜疾病，包括影響整個視網膜的疾?。ㄈ缣悄虿⌒砸暰W膜病變等）、 影響黃斑區域的疾?。ㄈ缒挲g相關性黃斑病變等）及影響視盤區域的疾?。ㄈ缜喙庋鄣龋??？偣彩占?6個類別的200817幅圖像，其中17385幅圖像包含多個標簽，每幅圖像有三名有經驗的眼科醫師標注，當且僅當不少于兩位眼科醫師同意的情況下，才能保留對應視網膜圖像的標簽。

在這項工作中，數據集被分為訓練集（80%）、驗證集（10%）和測試集（10%）。在所有這些圖像中，183432個圖像具有單個標簽，16849個圖像具有兩個標簽，536個圖像具有三個標簽。

△ 輔助檢測框圖示

團隊研究的方法包括兩部分：

（1）黃斑和視盤區聯合檢測；

（2）用于視網膜疾病語義分類的多任務學習。

首先訓練一個基于YoloV3的聯合檢測模型來定位視盤和黃斑區域。將檢測到的視盤和黃斑區域圖像以及整個眼底圖像分別調整為300×300、600×600、800×800，然后輸入多標簽疾病分類網絡。

分類網絡利用語義特征融合的思想對區域性疾病進行分類。為了更好地理解所提出的模型，團隊還為每個流繪制了與每個任務相關的類激活圖（CAM）。

△ 分類激活圖（CAM）

此次研究成功展示了多任務學習方法識別整個視網膜、黃斑和視盤疾病的有效性，而不是單任務分類，更適用于復雜的實際臨床應用場景，高效、便捷、使用局限性小，可以幫助更多患者實現早發現，早干預，延緩基礎慢病的進展，?的發生率。

責任編輯：ct