醫(yī)療領(lǐng)域常常被認(rèn)為是處于AI革命邊緣的領(lǐng)域。人工智能領(lǐng)域的很多知名企業(yè)，如谷歌的DeepMind，都聲稱他們一直在醫(yī)療領(lǐng)域努力耕耘，“人工智能有望改變現(xiàn)有醫(yī)療格局”。

但到目前為止AI到底產(chǎn)生了多大影響力？我們是否真的可以知曉從新技術(shù)中獲益的具體醫(yī)療領(lǐng)域呢？

在今年5月召開的ACM CHI“計(jì)算機(jī)系統(tǒng)中的人為因素作用力”會(huì)議上，來自Google的Carrie J. Cai在“以人為本的工具，以解決AI在應(yīng)對醫(yī)療決策過程算法不完善”的討論中展示了她的獲獎(jiǎng)作品，并聲稱機(jī)器學(xué)習(xí)技術(shù)在醫(yī)療決策中的使用會(huì)越來越多。

她開發(fā)了一個(gè)新系統(tǒng)，使醫(yī)生能夠即時(shí)改進(jìn)和修改病理圖像的搜索方式，以不斷提高其準(zhǔn)確性。

利用深度學(xué)習(xí)的視覺模型，在對新患者做出診斷時(shí)參考已知患者的醫(yī)學(xué)圖像（例如來自活檢的組織）是一種很有前途的方式。然而，在特定診斷期間準(zhǔn)確獲得醫(yī)生當(dāng)下所需的相似圖像對現(xiàn)有系統(tǒng)提出了巨大挑戰(zhàn)，因?yàn)椤耙鈭D鴻溝”（intention gap）的存在，即難以捕獲醫(yī)生的準(zhǔn)確意圖。這個(gè)問題我們稍后會(huì)詳細(xì)討論。

Cai的研究展示了他們在醫(yī)學(xué)圖像檢索系統(tǒng)上開發(fā)的細(xì)化工具能夠如何提高圖像的診斷準(zhǔn)確性。更重要的是，增加了醫(yī)生對機(jī)器學(xué)習(xí)算法輔助醫(yī)學(xué)決策的信任度。此外，調(diào)查結(jié)果顯示醫(yī)生能夠理解算法背后的優(yōu)點(diǎn)和缺點(diǎn)，自己發(fā)現(xiàn)并修正系統(tǒng)出現(xiàn)的錯(cuò)誤。總體而言，醫(yī)療專家對AI系統(tǒng)協(xié)助醫(yī)學(xué)決策的未來持樂觀態(tài)度。

在這篇文章中，我們主要討論三個(gè)方面的問題，即：

基于內(nèi)容的圖像檢索系統(tǒng)的發(fā)展?fàn)顟B(tài)

深度學(xué)習(xí)技術(shù)在這些系統(tǒng)中的作用

討論它們的應(yīng)用和對醫(yī)療領(lǐng)域的影響

基于內(nèi)容的圖像檢索系統(tǒng)的發(fā)展?fàn)顟B(tài)

在過去二十年左右的時(shí)間里，由于網(wǎng)絡(luò)上可視化數(shù)據(jù)的可訪問性不斷增長，基于內(nèi)容的圖像檢索（CBIR）已經(jīng)成為計(jì)算機(jī)可視化研究的熱門領(lǐng)域。基于文本的圖像搜索技術(shù)由于與視覺內(nèi)容的不匹配性而飽受詬病，因此將相似的視覺內(nèi)容進(jìn)行排序在許多情況下都被認(rèn)為是很重要的。

Wengang Zhou等人指出了CBIR系統(tǒng)的兩個(gè)關(guān)鍵挑戰(zhàn)，他們稱之為“意圖鴻溝（Intention Gap）”和“語義鴻溝(Semantic Gap)”。

圖1：來自Wengang Zhou等人的論文《基于內(nèi)容的圖像檢索的最新進(jìn)展：文獻(xiàn)調(diào)查”》

所謂“意圖鴻溝”，即難以通過已有的數(shù)據(jù)庫理解用戶的確切意圖，如圖示中的關(guān)鍵字。這是Carrie J. Cai等人提出的。回顧之前的研究，通過示例圖像進(jìn)行查詢似乎是最廣為探索的領(lǐng)域，原因顯然是因?yàn)橥ㄟ^圖像獲得豐富的查詢信息非常方便。但這需要從圖像中提取準(zhǔn)確的特征，因此需要我們進(jìn)入下一個(gè)角度，即語義鴻溝。

語義鴻溝主要是指用低級視覺特征描述高級語義概念的困難。現(xiàn)在，經(jīng)過多年來的大量研究，這個(gè)問題已經(jīng)取得了一些顯著突破，例如引入不變的局部視覺特征（SIFT）和引入視覺詞袋（BoW）模型。

圖1展示了CBIR系統(tǒng)的兩個(gè)主要功能。匹配檢索理解和圖像特征之間的相似性，也是一個(gè)重要的步驟，但這完全取決于系統(tǒng)表達(dá)出查詢和圖像的匹配程度。

最近基于學(xué)習(xí)的特征提取器，例如深度卷積神經(jīng)網(wǎng)絡(luò)（CNN），爆炸式地開辟了許多新研究途徑，可以直接應(yīng)用于解決我們在CBIR系統(tǒng)中討論的語義鴻溝。這些技術(shù)相比人工輸入的特征提取器有了顯著改進(jìn)，并且已經(jīng)在語義感知檢索應(yīng)用程序中顯示出了潛力。

機(jī)器學(xué)習(xí)扮演的角色

Carrie J. Cai等人分析了CBIR系統(tǒng)的基本細(xì)節(jié)。由Narayan Hedge等人詳細(xì)介紹了他們的研究——“組織病理學(xué)類似圖像搜索：SMILY”。系統(tǒng)概述如圖2所示。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）算法用于圖2所示的嵌入計(jì)算模塊，作為系統(tǒng)中的特征提取器。系統(tǒng)將圖像信息壓縮成數(shù)字特征向量（也稱為嵌入向量），通過預(yù)訓(xùn)練的CNN算法計(jì)算并存儲(chǔ)圖像數(shù)據(jù)庫（這里是病理載片上的片段圖像）及其數(shù)值向量，當(dāng)對圖像進(jìn)行進(jìn)行查詢檢索時(shí)，使用相同的CNN算法計(jì)算查詢輸入的圖像，并與數(shù)據(jù)庫中的向量進(jìn)行比較以檢索最相似的圖像。

此外，Narayan Hedge等人解釋說，CNN架構(gòu)是基于Jiang Wang等人提出的深度排序網(wǎng)絡(luò)，它由卷層和匯聚層以及連接操作組成。在網(wǎng)絡(luò)訓(xùn)練階段，輸入3組圖像：特定類的第一組參考圖像，同一類的第二組圖像和完全不同類的第三組圖像。然后對損失函數(shù)進(jìn)行建模，使得網(wǎng)絡(luò)在嵌入相同類的圖像時(shí)賦值的距離比嵌入不同類圖像時(shí)更短。因此，來自不同類的圖像有助于增強(qiáng)來自同一類的圖像的嵌入之間的相似性。

他們使用大型自然圖像數(shù)據(jù)集（例如狗，貓，樹等）來訓(xùn)練網(wǎng)絡(luò)而不只是用病理圖像。在學(xué)會(huì)區(qū)分相似的自然圖像與不同的自然圖像之后，再將相同的訓(xùn)練架構(gòu)直接應(yīng)用于病理圖像的特征提取上。這種方式被視為有限數(shù)據(jù)的應(yīng)用中的神經(jīng)網(wǎng)絡(luò)加強(qiáng)版，通常稱為轉(zhuǎn)移學(xué)習(xí)。

Narayan Hedge等人表示CNN特征提取器為每個(gè)圖像設(shè)置了128個(gè)大小不一的向量，并且選擇L2距離作為向量之間的比較函數(shù)。使用t-SNE可視化技術(shù)將病理圖像載玻片上產(chǎn)生的所有數(shù)據(jù)集嵌入。如圖3所示：（a）器官位點(diǎn)著色的嵌入 （b）由組織學(xué)特征著色的嵌入。

圖3：來自由Narayan Hedge等人的的研究論文“類似圖像搜索組織病理學(xué)：SMILY”

事實(shí)上，類似的深度排名網(wǎng)絡(luò)架構(gòu)和訓(xùn)練技術(shù)可以在諸如Siamese Neural Networks等深度學(xué)習(xí)文獻(xiàn)中廣泛使用，甚至已經(jīng)應(yīng)用于人臉識別中。

現(xiàn)在，回到CBIR系統(tǒng)，我們了解到深度學(xué)習(xí)技術(shù)可以減少語義鴻溝，這些基于深度學(xué)習(xí)的方法即使在復(fù)雜的自然圖像中也可以識別重要特征。

在醫(yī)療領(lǐng)域中的應(yīng)用與沖擊

到目前為止，我們研究了CBIR系統(tǒng)的應(yīng)用以及深度學(xué)習(xí)技術(shù)在克服語義鴻溝等方面的潛力。但CBIR在醫(yī)療方面的適用性如何？我們能否明確量化其影響呢？

僅在2002年，日內(nèi)瓦大學(xué)醫(yī)院的放射科每天就產(chǎn)生超過12,000張圖像。其中，心血管科是第二大數(shù)字圖像制造者。醫(yī)療信息系統(tǒng)的目標(biāo)應(yīng)該是“在適當(dāng)?shù)臅r(shí)間地點(diǎn)為正確的人提供其所需的合適信息，以提高治療過程的質(zhì)量和效率。”因此，在臨床決策中，基于案例的推理或基于證據(jù)的醫(yī)學(xué)決策都希望從CBIR系統(tǒng)中受益。

無論技術(shù)多么健全，這些系統(tǒng)在實(shí)際臨床應(yīng)用中都需要更多的完善，特別是在建立系統(tǒng)與醫(yī)生間的信任方面。這是Carrie J. Cai等人的提出的，醫(yī)生通過非常靈活地使用相關(guān)性反饋來完善系統(tǒng)，即對得到的系統(tǒng)結(jié)果進(jìn)行評級。HenningMüller等人還申明了相關(guān)反饋在交互式環(huán)境中的重要性，其用來改善系統(tǒng)結(jié)果并提高CBIR系統(tǒng)的適應(yīng)性。

另一個(gè)重點(diǎn)是量化這些系統(tǒng)的影響，這對于這一研究領(lǐng)域的適應(yīng)和發(fā)展至關(guān)重要。在與12位病理學(xué)家一同進(jìn)行用戶研究后，Carrie J. Cai等人聲稱，通過他們的CBIR系統(tǒng)，醫(yī)生能夠更輕松地增加系統(tǒng)的診斷效用。此外，結(jié)果也顯示醫(yī)生對其信任度的提高了也增大了將來用于臨床實(shí)踐的可能性。但是在本研究中沒有評估診斷準(zhǔn)確性（盡管經(jīng)驗(yàn)表明其保持不變），因?yàn)樗隽搜芯糠秶?/p>

展望未來，很明顯，醫(yī)療專家和AI系統(tǒng)開發(fā)人員需要不斷協(xié)作，以確定范例并評估AI應(yīng)用程序在醫(yī)療中的影響。此外，科研界也應(yīng)重點(diǎn)關(guān)注開放測試數(shù)據(jù)集和查詢標(biāo)準(zhǔn)的開發(fā)，以便為CBIR系統(tǒng)設(shè)置基準(zhǔn)，這些對于推動(dòng)研究向前發(fā)展非常有幫助。