本文提出一種有效的基于視覺Transformer的弱監督視頻異常檢測架構來實現精準檢測結直腸息肉。這也是首篇利用弱監督視頻標簽來進行腸息肉檢測的研究， 文章基于之前數據集整理合并提出了一個全新的大型結直腸視頻數據集用于息肉檢測的研究。性能表現SOTA！代碼和數據即將開源！

結直腸鏡是一種有效的檢測手段來早起篩查結直腸癌。然后， 在腸鏡過程中醫生往往會遺漏細小的不引人注意的腸息肉， 給病人的健康留下嚴重的隱患。所以利用AI系統來輔助醫生精準檢測是十分重要的。

比較常用的方法是利用全監督的方法來逐幀標注。這種方法需要專業醫生很多的精力和時間， 所以之前的論文通常利用無監督異常檢測來解決。無監督異常檢測只需要利用正常數據來進行訓練， 然后通過對比正常和異常的特征區別達到檢測腸息肉的功能。這些工作因為沒有利用異常數據訓練 往往很容易忽略掉很多微笑的或者只有部分可見的腸息肉。所以本文首次提出利用弱監督視頻異常檢測的方法來解決這個問題， 即只使用視頻級的標注而不需要逐幀標注。這樣做大大減少了標注的繁瑣過程和時間 并且能夠有效的檢測細微不引人注意的息肉。

之前的弱監督視頻異常檢測方法通常利用multiple instance learning， 即正常視頻中所有幀視為正常幀， 異常視頻內至少有一或多幀為異常。基于MIL的方法經常很難準確檢測出異常視頻中哪一幀存在異常， 尤其是當異常幀和正常幀很像的時候。

在這篇文章， 我們首次探索了利用弱監督異常檢測如何在結腸鏡視頻中檢測異常幀 通過一個新穎的基于視覺transformer的架構。為了evaluate我們方法的準確性， 我們整理了已知的幾種結腸鏡數據集 整合成了一個大型的視頻結腸鏡數據集來測試弱監督和全監督視頻幀異常檢測。這個新數據集為后面的研究提供一個全新的benchmark去測試和發展。

實驗結果

實驗結果表明，我們的方法在這個全新的結腸鏡視頻數據集上明顯優于其他網絡。例如， 我們的方法超過RTFM和MIST 10%-15% AP， 證明了方法的穩定性和準確性。

下圖可以看出我們方法可以有效的降低正常幀的異常分數并且提高異常幀（帶息肉）的異常分數。