圖 1. 一個(gè)包含三部分信息的胸部 X 光報(bào)告示例。在 impression 部分，放射專家結(jié)合 Findings、病人臨床歷史及影像學(xué)研究的指導(dǎo)做出診斷。Findings 部分列出了影像學(xué)檢查中所檢測的身體各部分放射學(xué)觀察結(jié)果。Tags 部分給出了表示 Findings 核心信息的關(guān)鍵詞。這些關(guān)鍵詞使用醫(yī)學(xué)文本索引器（MTI）進(jìn)行標(biāo)識。

第二，醫(yī)療圖像報(bào)告通常更注重?cái)⑹霎惓０l(fā)現(xiàn)，因?yàn)檫@樣能直接指出疾病、引導(dǎo)治療。但如何定位圖片中的病變區(qū)域并附上正確的描述非常困難。作者們解決該問題的方法是引入一種協(xié)同注意力機(jī)制（co-attention mechanism），它能同步關(guān)注圖像和預(yù)測到的標(biāo)簽，并探索視覺與語義信息帶來的協(xié)同效應(yīng)。

第三，通常醫(yī)療圖像的描述非常長，包含多個(gè)語句或段落。生成這樣的長文本非常重要。相比于直接采用單層 LSTM（難以建模長語句），作者們利用報(bào)告的合成特性采用了一種層級 LSTM 來生成長文本。結(jié)合協(xié)同注意力機(jī)制，層級 LSTM 首先生成高級主題，然后根據(jù)主題生成細(xì)致的描述。

總而言之，該論文的主要貢獻(xiàn)包括：

提出一種多任務(wù)學(xué)習(xí)框架，能同步預(yù)測標(biāo)簽并生成文本描述；

介紹了一種協(xié)同注意力機(jī)制來定位異常區(qū)域，并生成相應(yīng)的描述；

建立了一種層級 LSTM 來生成長語句、段落；

通過大量定量與定性的實(shí)驗(yàn)展示該方法的有效性。

論文：On the Automatic Generation of Medical Imaging Reports

論文地址：https://arxiv.org/abs/1711.08195

摘要：醫(yī)學(xué)影像廣泛用于診斷和治療等醫(yī)療實(shí)踐中。通常專業(yè)醫(yī)師需要查看醫(yī)學(xué)影像，并寫文本報(bào)告來記錄發(fā)現(xiàn)。缺乏經(jīng)驗(yàn)的醫(yī)生寫報(bào)告容易出錯(cuò)，且在醫(yī)患比例過低的國家，編寫報(bào)告會(huì)耗費(fèi)大量時(shí)間。為了解決該問題，我們研究了醫(yī)學(xué)影像報(bào)告的自動(dòng)生成系統(tǒng)，以幫助人類醫(yī)生更準(zhǔn)確高效地寫報(bào)告。但目前該任務(wù)面臨多個(gè)挑戰(zhàn)。首先，完整的報(bào)告包含多種異質(zhì)形式的信息，如用段落表示的發(fā)現(xiàn)和關(guān)鍵詞列表表示的標(biāo)簽。第二，機(jī)器很難識別醫(yī)學(xué)影像中的異常區(qū)域，在此基礎(chǔ)上生成文本描述則更加困難。第三，報(bào)告通常比較長，包括多個(gè)段落。為了解決這些挑戰(zhàn)，我們（1）構(gòu)建一個(gè)多任務(wù)學(xué)習(xí)框架，能夠同時(shí)執(zhí)行標(biāo)簽預(yù)測和段落生成；（2）提出一種協(xié)同注意力（co-attention）機(jī)制來定位異常區(qū)域，并生成描述；（3）開發(fā)一種分層 LSTM 模型用于生成長段落。最后我們展示了該方法在胸部 x 光和病理數(shù)據(jù)集上的有效性。

圖 2. 整個(gè)模型的結(jié)構(gòu)與過程。其中 MLC 代表多標(biāo)簽分類網(wǎng)絡(luò)，語義特征是預(yù)測標(biāo)簽的詞向量。粗體標(biāo)記的「calcified granuloma」和「granuloma」是協(xié)同注意力網(wǎng)絡(luò)關(guān)注的標(biāo)簽。

3. 方法

在本章節(jié)中，我們將介紹具體使用的方法。以下簡要地介紹了整個(gè)方法的過程，各部分詳細(xì)的過程或理論請查看原論文。

一份完整的醫(yī)學(xué)影像報(bào)告通常包括非結(jié)構(gòu)化的描述（以語句和段落的形式展示）和半結(jié)構(gòu)化標(biāo)簽（以關(guān)鍵字列表的形式展示），如上圖 1 所示。我們提出了一種多任務(wù)層級模型，該模型帶有協(xié)同注意力機(jī)制（co-attention）且能自動(dòng)預(yù)測關(guān)鍵字并生成長段落。給定一張經(jīng)過分割的圖像，我們使用一個(gè) CNN 來學(xué)習(xí)這些圖像塊的視覺特征。然后再饋送這些視覺特征到多標(biāo)簽分類網(wǎng)絡(luò)（MLC）以預(yù)測相關(guān)的標(biāo)簽。

在標(biāo)簽詞匯表中，每一個(gè)標(biāo)簽由一個(gè)詞向量表征。若給定特定圖像一些預(yù)測的標(biāo)簽，模型會(huì)檢索它們的詞嵌入向量以作為該圖像的語義特征。模型隨后將視覺特征和語義特征饋送到協(xié)同注意力（co-attention）模型以生成能同時(shí)捕獲視覺和語義信息的上下文向量。至此，編碼的過程就完成了，下面模型將從背景向量（context vector）開始解碼生成文本描述。