當(dāng)大模型踏入醫(yī)療行業(yè)與人類醫(yī)生一較高下時(shí)，它能達(dá)到什么水平？

就在最近，醫(yī)學(xué)頂刊BMJ便給出了這樣一個(gè)結(jié)論：

在遵循公認(rèn)的臨床抑郁癥治療標(biāo)準(zhǔn)方面，先進(jìn)大模型可能比醫(yī)生要強(qiáng)！

從研究結(jié)果上來(lái)看，大語(yǔ)言模型（LLM）在輕度和重度抑郁癥治療方面，已經(jīng)達(dá)到了公認(rèn)的治療標(biāo)準(zhǔn)。

不僅如此，它們還不會(huì)被患者的外在因素所影響（包括性別、社會(huì)階層等等），這就比人類初級(jí)醫(yī)生還要強(qiáng)上一點(diǎn)了。

這是否就意味著類LLM選手們現(xiàn)在可以“持證上崗”了呢？

非也，非也。

考慮到抑郁癥治療的持續(xù)性和患者病情的多樣性，這項(xiàng)研究認(rèn)為，真正的治療過(guò)程還是需要人類醫(yī)生來(lái)進(jìn)行。

不過(guò)研究同樣指出，LLM對(duì)于現(xiàn)階段醫(yī)療可以起到輔助決策的幫助：

有可能加強(qiáng)初級(jí)衛(wèi)生保健的決策，提高精神衛(wèi)生服務(wù)的質(zhì)量和公正性。

畢竟自從LLM熱潮以來(lái)，包括谷歌在內(nèi)的眾多AI玩家，都致力于推動(dòng)其在醫(yī)學(xué)領(lǐng)域中的作用。

甚至像“男孩閱醫(yī)無(wú)數(shù)，最后竟被AI成功診出病因”這樣的新聞也是頻頻被曝出。

那么問(wèn)題來(lái)了——LLM在現(xiàn)實(shí)中的醫(yī)療領(lǐng)域，到底走到了哪一步？

LLM，已然深扎醫(yī)療

一直以來(lái)，醫(yī)療行業(yè)都被視為AI落地的重要領(lǐng)域。

在深度學(xué)習(xí)浪潮剛剛興起之時(shí)，深度學(xué)習(xí)三巨頭之一Hinton就說(shuō)出了名言：

5年內(nèi)AI可以取代放射科醫(yī)生。

盡管這個(gè)表達(dá)有些激進(jìn)，但它揭露了一個(gè)事實(shí)，至少在科研層面，AI和醫(yī)療的結(jié)合是非常被看好的。

在過(guò)去一段時(shí)間以來(lái)，AI醫(yī)療場(chǎng)景不斷開拓，比如利用CV算法識(shí)別病灶、檢測(cè)心電圖等。科技巨頭們都緊跟趨勢(shì)，如微軟、谷歌、IBM等都在持續(xù)投入資金，推進(jìn)AI醫(yī)療落地。

尤其在ChatGPT趨勢(shì)到來(lái)以后，LLM更強(qiáng)的學(xué)習(xí)能力、更好的遷移能力以及更深的理解能力，都為AI醫(yī)療落地打開新局面。

而且這會(huì)是一個(gè)很確定的趨勢(shì)，因?yàn)榧夹g(shù)、應(yīng)用落地和行業(yè)發(fā)展都準(zhǔn)備好了。

首先技術(shù)方面，今年是大模型爆發(fā)的一年，目前國(guó)內(nèi)已經(jīng)形成“百模大戰(zhàn)”格局。

諸多大模型廠商都主打To B路線，正在加速推動(dòng)大模型在各個(gè)行業(yè)的應(yīng)用。還有一些廠商直接推出面向醫(yī)療的行業(yè)大模型，比如谷歌推出的Med-PaLM 2就已經(jīng)在診所實(shí)測(cè)。

所以對(duì)于醫(yī)療領(lǐng)域而言，當(dāng)下是不缺“?！钡摹?/span>

其次，大模型和醫(yī)療領(lǐng)域也天生非常契合。

在常見(jiàn)的問(wèn)診、病歷生成、患者病史分析等場(chǎng)景，都需要醫(yī)生基于歷史信息進(jìn)行整合總結(jié)、分析判斷，這正是大模型的長(zhǎng)項(xiàng)。

比如利用大模型的總結(jié)摘要能力，可以快速對(duì)多類數(shù)據(jù)進(jìn)行總結(jié)并形成摘要，幫醫(yī)生完成繁瑣、重復(fù)性高的工作，提升效率。

并且實(shí)際落地上，只需以基座大模型為底，應(yīng)用專業(yè)醫(yī)療數(shù)據(jù)訓(xùn)練，就能得到一個(gè)強(qiáng)大的醫(yī)療大模型，這能從根本上加速AI醫(yī)療落地。還能在一個(gè)系統(tǒng)中集成多個(gè)子模型，即可快速覆蓋更多場(chǎng)景。

再來(lái)看行業(yè)發(fā)展方面，以國(guó)內(nèi)情況為例，數(shù)字化醫(yī)療、AI醫(yī)療逐漸發(fā)展為一個(gè)獨(dú)立賽道，玩家們利用數(shù)據(jù)分析、自然語(yǔ)言處理（NLP）、結(jié)構(gòu)化數(shù)據(jù)等技術(shù)，已經(jīng)成功將AI引入臨床診斷決策、病例數(shù)據(jù)管理等。

如惠每科技開發(fā)的面向醫(yī)院的核心應(yīng)用Dr.Mayson。

簡(jiǎn)單理解，這是一個(gè)能優(yōu)化醫(yī)院看診、決策、預(yù)警、管理等方面的智能應(yīng)用，核心目標(biāo)就是讓醫(yī)院數(shù)字化系統(tǒng)運(yùn)行更加絲滑流暢，提高醫(yī)生診療效率。

它主要融入了PDCA過(guò)程管理和CDSS（臨床決策支持系統(tǒng)）。利用機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、大數(shù)據(jù)挖掘等技術(shù)，可以智能識(shí)別分析病歷文書、LIS/RIS報(bào)告等患者完整病歷數(shù)據(jù)；為醫(yī)院構(gòu)建專門的醫(yī)學(xué)知識(shí)庫(kù)；給醫(yī)生、醫(yī)技、護(hù)士、管理方提供實(shí)時(shí)智能參考與建議。

在惠每科技最新發(fā)布的CDSS 3.0架構(gòu)中，新一代AI大數(shù)據(jù)處理平臺(tái)已集成了醫(yī)療大模型，并已經(jīng)在某合作醫(yī)院的病歷生成等場(chǎng)景中獲得了醫(yī)生的認(rèn)可。

綜上，醫(yī)療大模型應(yīng)用落地路徑已經(jīng)比較明確。但是落地的過(guò)程卻沒(méi)有想象中的那般容易。

醫(yī)療大模型落地，怎么解？

醫(yī)療大模型落地目前遇到的兩大核心問(wèn)題，都非常具有原生性：

• 為保證患者數(shù)據(jù)安全，醫(yī)院數(shù)據(jù)僅能內(nèi)網(wǎng)使用

• 當(dāng)前GPU算力緊張，醫(yī)院很難負(fù)擔(dān)如此高昂的采購(gòu)成本

這意味著，醫(yī)療大模型需要進(jìn)行私有化部署，且需要尋找一條能夠針對(duì)于提升大模型算力的“性價(jià)比”道路。

所以，AI加速成為了近來(lái)業(yè)界備受關(guān)注的領(lǐng)域。它直接關(guān)乎大模型落地的效率和成本，行業(yè)內(nèi)各大廠商的加速方案也都受到熱捧。

比如剛剛提到的惠每科技便攜手英特爾，在基于第四代英特爾至強(qiáng)可擴(kuò)展處理器的基礎(chǔ)設(shè)施上，打造了量化和非量化兩種大模型推理加速方案。

如何實(shí)現(xiàn)？

先來(lái)看量化部分，也就是通過(guò)降低模型精度來(lái)實(shí)現(xiàn)加速。

以FP32量化到INT8為例，它能讓GPU或CPU適應(yīng)更快、更低成本的8位張量來(lái)計(jì)算卷積和矩陣乘法，可有效提高計(jì)算吞吐量。還能減少模型數(shù)據(jù)搬運(yùn)所需的時(shí)間和資源，這是數(shù)據(jù)從內(nèi)存移動(dòng)到計(jì)算單元的必然消耗，精度從32位降低到8位，能實(shí)現(xiàn)4倍減少量。

同時(shí)量化也能減少內(nèi)存的使用，讓模型需要更少的存儲(chǔ)空間、參數(shù)更小、緩存利用率更高。

具體實(shí)現(xiàn)方案上，惠每科技引入了英特爾開發(fā)和開源的BigDL-LLM大語(yǔ)言模型加速庫(kù)，其提供對(duì)各種低精度數(shù)據(jù)格式的支持與優(yōu)化，同時(shí)配合不同型號(hào)和代際的英特爾處理器內(nèi)置指令集（如英特爾AVX-512_VNNI、英特爾AMX等）在大模型應(yīng)用中可以實(shí)現(xiàn)較優(yōu)推理加速。

使用方面，此方案提供了便捷命令和編程接口兩種方法，能方便預(yù)覽量化后模型性能是否符合預(yù)期；另外在性能達(dá)標(biāo)的情況下，憑借BigDL-LLM提供的HuggingFace API/Langchain API，用戶可以輕松將優(yōu)化性能整合到部署推理服務(wù)中去。

△BigDL-LLM為醫(yī)療大模型提供推理加速

對(duì)于非量化技術(shù)路徑，英特爾也能提供鍵值（KV）緩存、算子融合的OpenVINO加速方案。

KV緩存用于通過(guò)鍵值對(duì)的方式存儲(chǔ)數(shù)據(jù)，能加速和優(yōu)化數(shù)據(jù)訪問(wèn)。算子融合是將神經(jīng)網(wǎng)絡(luò)中多個(gè)連續(xù)運(yùn)算符融合成一個(gè)運(yùn)算符，從而減少內(nèi)存訪問(wèn)、提高計(jì)算效率。

在惠每科技主要使用的開源基座大模型ChatGLM上，基于英特爾OpenVINO工具套件打造的非量化方案能利用零拷貝（Zero-Copy）視圖傳遞預(yù)分配的KV所需的內(nèi)存副本空間，避免數(shù)據(jù)的多次拷貝，實(shí)現(xiàn)KV緩存加速；

也能引入第四代英特爾至強(qiáng)可擴(kuò)展處理器內(nèi)置的英特爾AMX指令集，幫助ChatGLM等醫(yī)療大模型加速BF16/INT8計(jì)算，實(shí)現(xiàn)算子融合，在保證精度的前提下提升運(yùn)算效率、加速推理；

同時(shí)OpenVINO工具套件提供了在HuggingFace上的Optimum接口，讓優(yōu)化效果可擴(kuò)展到更多醫(yī)療大模型推理應(yīng)用中。

總結(jié)來(lái)看，英特爾與惠每科技聯(lián)手打造的兩個(gè)大模型加速方案，成功幫助醫(yī)療機(jī)構(gòu)用較低成本部署了高質(zhì)量大語(yǔ)言模型，并且為更多準(zhǔn)備“入局”的同行們提供了一套完整教程。

更關(guān)鍵的是，本次合作也讓我們看到了一個(gè)事實(shí)：大模型訓(xùn)練推理并非唯GPU一種解法，CPU也可以作為大模型在行業(yè)落地的平臺(tái)。

CPU，大模型的另一種解法

或許很多人一提到大模型，刻板印象往往會(huì)是“堆GPU”。

但事實(shí)上，英特爾在通過(guò)自身的實(shí)踐在證明——CPU，亦是一種解法。

例如在我們耳熟能詳且經(jīng)典的OCR（光學(xué)字符識(shí)別）領(lǐng)域，在英特爾第四代至強(qiáng)可擴(kuò)展處理器的加持之下，響應(yīng)延時(shí)指標(biāo)在原有基礎(chǔ)上足足提升達(dá)25倍！

△數(shù)據(jù)來(lái)源：英特爾合作伙伴

再比如媒體娛樂(lè)場(chǎng)景中，尤其在AMX加速引擎加持下，英特爾能幫助個(gè)性化內(nèi)容推薦速度提升達(dá)6.3倍；零售行業(yè)里，能將視頻分析速度提升高達(dá)2.3倍，還有像工業(yè)缺陷檢測(cè)、醫(yī)療服務(wù)也都能從容應(yīng)對(duì)。

即便是在生命科學(xué)和醫(yī)藥等前沿探索領(lǐng)域，CPU也已經(jīng)成為不容忽視的存在：甚至在某些場(chǎng)景下的表現(xiàn)效果比GPU還要好。

而這些案例，也只是英特爾CPU在大模型時(shí)代表現(xiàn)中的一隅；更重要的應(yīng)當(dāng)是英特爾在過(guò)去一段時(shí)間和未來(lái)，所堅(jiān)持的 “走法”：不僅重視硬件產(chǎn)品性能的提升，對(duì)于軟件優(yōu)化和打造生態(tài)系統(tǒng)同樣付出大量心血，給用戶提供全流程支持。

這也是為什么在今年的Intel Innovation 2023上，英特爾敢于喊出“AI everywhere（讓AI無(wú)處不在）”的口號(hào)；為什么在12月中旬即將發(fā)布的新一代至強(qiáng)可擴(kuò)展處理器、產(chǎn)品和加速方案，充斥著“AI”和“大模型”的味道。

總而言之，CPU巨頭英特爾，在大模型時(shí)代之下確實(shí)在開辟著與眾不同的路數(shù)。

至于新一代至強(qiáng)可擴(kuò)展處理器和其他產(chǎn)品又會(huì)給大模型帶來(lái)怎樣的性能提高，也是值得期待一波的。