GPU小常識：

GPU（Graphics Processing Unit），中文名：圖形處理器，曾用名：顯卡。

1999年，Nvidia（英偉達）公司“ZAO”了GPU，這玩意除了極大的推動了基于PC的游戲市場發展，還徹底改變了并行計算。

沒想到二十年后，Nvidia搖身一變成了高大上的AI計算公司，還用GPU綁架了整個人工智能圈子。

我有個客戶，幾年前新建了一個數據中心，通過P2V技術淘汰了大量X86物理服務器，直接在IT基礎設施上成功完成了服務器虛擬化轉型，之后就馬不停蹄的向云計算轉型，而當下，又開始了人工智能轉型。

隨著智能商業時代的到來，一些大公司對于AI技術的關注和使用也快速增加，這些企業都非常注重自身科技能力的構建。其中，搭建自有AI平臺，賦能業務成了這些有實力企業的首選。我這個客戶自然也不能免俗，采購了大量的GPU服務器進行部署。

在落地AI場景的同時，客戶也希望對建立GPU資源池做一個評估。針對客戶需求，做了一些功課。對于AI，我依然只是知道一點皮毛，要說什么算法和模型，我是沒戲的，但是可以把交流的學習心得分享一下。

GPU當前主要應用于計算、圖形和人工智能領域。從GPU資源的虛擬化實現路徑看，主要有三種技術方案。

VSGA（Virtual Shared Graphics Acceleration)，把物理GPU分享給多個桌面用戶，每個VDI通過SVGA驅動調用虛擬化的GPU驅動程序，再來調用GPU的運算能力，這個屬于典型的桌面虛擬化場景。

VDGA（Virtual Dedicated Graphics Acceleration），把物理GPU分配給一個指定的VM，資源專用，這種模式也稱為直通（PassThrough）模式，該方案具有比較高的性能優勢，但成本相對較高。

vGPU（Virtualized GPU），把一塊物理GPU虛擬成多塊vGPU卡，每個VM都獨占一塊vGPU，每個vGPU直接跟物理GPU對接。

現實世界的應用狀況又是怎樣的呢？通過技術交流，發現傳統行業大多數的GPU資源池案例都是VDI的桌面虛擬化應用場景，針對后臺服務器虛擬化的案例幾乎沒有。在互聯網行業，像百度這樣在AI領域比較強的，用的都是自研的GPU服務器和資源調度平臺。真正的商業案例中，大量客戶使用的還是基于X86物理服務器搭配GPU卡的方式來部署AI應用。

之后，對這個客戶也有做了相應的調研。客戶現狀：針對AI技術部署了獨立的語音分析、OCR和人臉識別等多個平臺，支撐整個公司對于AI場景的需求。（目前有GPU服務器：50臺+，GPU卡：180+，后續還有200＋的GPU卡擴容計劃）。針對調研情況，也做個簡要分析。

應用場景：

目前AI技術主要為兩種場景，訓練（Training）和推理（Inference），從我這個客戶的使用情況看，幾乎都是推理場景，相對訓練而言，對于GPU的算力的要求不是很高，這一點從用戶的性能數據上也有體現。客戶模型訓練都是在供應商端進行的。

技術方案：

GPU資源池只是一種概念，對于資源的形態來說，GPU是物理的還是虛擬的不是最重要的。從資源管理角度看，主要是考慮利用效率、訪問性能、安全隔離等因素。

如果是物理服務器方案，上層最佳的部署形式的直接基于容器，但是現實情況是大多數用戶的應用部署還是基于PM和VM的。另外，也可以考慮基于服務器虛擬化＋多GPU卡的方案，一個VM對應一個GPU卡的直通模式，但是應用密度顯然受制于GPU卡的數量，如果這時再追加使用vGPU技術，似乎方案在VM技術平臺上就更完美了，當然容器嵌套VM的方案也是一種好的形式。

商務成本：

成熟的商業虛擬化軟件是有軟件許可費的，而Nvidia的vGPU技術也需要支付相應的軟件許可費，這樣每個GPU卡可以根據顯存的不同配置，被切分為固定數量的vGPU，在相同數據物理GPU卡配置情況下，提升VM的部署密度。

其他因素：

當然，目前的“AI芯片”也不是只有Nvidia一家，國內的寒武紀和華為也都用相應的產品支撐AI應用，對于主流的TensorFlow，Cafee框架可能還可以，但對于其他框架和模型在支持上略顯不足，還需要加強生態建設。畢竟連英偉達都聲稱自己是一家軟件研發公司。在這個Software Define Anything的時代，軟實力才是真正貼近用戶的硬實力。

關于建立后臺支撐AI算力的GPU資源池這件事，技術本身并不存在限制，是個具有規模效應的事情。如果規模大了，也許百度的“孔明”平臺就是一個需要達到的高度。至于其他公有云服務商，現在也都提供了相應的GPU服務，等有機會再去調研一下。

啥叫Deep Learning？就是這種不斷學習更新，還要用輸出倒逼輸入的方式！

責任編輯：lq