近日起，Google Cloud 面向全球各地推出NVIDIA T4 GPU，為包括高性能計(jì)算（HPC）、機(jī)器學(xué)習(xí)訓(xùn)練及推理、數(shù)據(jù)分析和圖形處理等在內(nèi)的各類(lèi)云工作負(fù)載提供加速。今年1月，Google Cloud宣布推出了NVIDIA T4 GPU公測(cè)版，幫助客戶(hù)以更快的速度和更低的成本運(yùn)行推理工作負(fù)載。今年四月早些時(shí)候，在Google Next '19上，Google Cloud宣布在八個(gè)地區(qū)率先推出NVIDIA T4，使Google Cloud成為全球第一家基于NVIDIA T4提供服務(wù)的主要供應(yīng)商。

注重速度與成本效益

每個(gè)T4 GPU都擁有16 GB的GPU內(nèi)存，提供多精度（或數(shù)據(jù)類(lèi)型）支持（FP32，F(xiàn)P16，INT8和INT4），具有可為訓(xùn)練提供加速的NVIDIA Tensor核心，以及可用于更快速的光線(xiàn)追蹤的RTX硬件加速平臺(tái)。用戶(hù)可以使用四個(gè)T4 GPU、96個(gè)vCPU、624 GB主機(jī)內(nèi)存和高達(dá)3 TB的服務(wù)器本地SSD，來(lái)搭建最能滿(mǎn)足其需求的自定義VM配置。

自發(fā)布之時(shí)，在搶占式VM實(shí)例上，T4實(shí)例的售價(jià)僅為每GPU每小時(shí)0.29美元。按需實(shí)例的售價(jià)為每GPU每小時(shí)0.95美元起，而且持續(xù)使用還可享受高達(dá)30％的折扣。

可用于訓(xùn)練和推理的Tensor 核心

憑借NVIDIA Turing架構(gòu)，T4 GPU引入了第二代Tensor核心。Tensor 核心首次亮相于NVIDIA V100 GPU之上（Google Cloud平臺(tái)（GCP）也提供基于NVIDIA V100 GPU的服務(wù)），支持混合精度，可以為在機(jī)器學(xué)習(xí)工作負(fù)載中普遍采用的矩陣乘法運(yùn)算提供加速。如果您的訓(xùn)練工作量還未達(dá)到需要使用功能更加強(qiáng)大的V100的程度，那么T4將能夠以更低的價(jià)格為您提供Tensor 核心的加速優(yōu)勢(shì)。T4非常適合應(yīng)用于大規(guī)模訓(xùn)練工作負(fù)載中，特別是當(dāng)您擴(kuò)展更多資源來(lái)加快訓(xùn)練或訓(xùn)練更大的模型的時(shí)候。

Tensor核心也可以為推理提供加速，或運(yùn)用機(jī)器學(xué)習(xí)模型加速生成預(yù)測(cè)，以實(shí)現(xiàn)低延遲或高吞吐量。當(dāng)以混合精度啟用Tensor核心時(shí)，與僅以FP32運(yùn)行相比，借助于TensorRT， GCP上的T4 GPU可以將ResNet-50的推理速度提高10倍以上。受益于全球供貨和谷歌的高速網(wǎng)絡(luò)，GCP上的NVIDIA T4能夠以高性?xún)r(jià)比，為那些需要高效運(yùn)作的全球性服務(wù)供應(yīng)商提供服務(wù)。例如，Snap Inc. 就在使用NVIDIA T4為其全球用戶(hù)群創(chuàng)建更有效的算法的同時(shí)，保持了低成本。

“Snap的貨幣化算法對(duì)我們的廣告客戶(hù)和股東有著最顯著的影響。借助于GCP上由NVIDIA T4賦能的GPU，我們提高了我們的廣告效率，與僅使用CPU的方式相比，成本也得到了降低。”

— Nima Khajehnouri, Sr. Director, Monetization, Snap Inc.

GCP 的機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施讓Google與NVIDIA強(qiáng)強(qiáng)聯(lián)手。

借助于Google Cloud上的深度學(xué)習(xí)VM鏡像（Deep Learning VM images），可以在NVIDIA T4 GPU上快速啟動(dòng)和運(yùn)行機(jī)器學(xué)習(xí)模型的訓(xùn)練和服務(wù)推理工作負(fù)載。這些應(yīng)用包括了您需要的所有軟件：驅(qū)動(dòng)程序，CUDA-X AI庫(kù)，以及主流AI框架，如TensorFlow和PyTorch。此外，Google Cloud會(huì)為您進(jìn)行軟件更新，使您不必再為了兼容性和性能優(yōu)化的問(wèn)題額外費(fèi)心。您只需創(chuàng)建一個(gè)新的Compute Engine實(shí)例，選擇您的鏡像，單擊Start，幾分鐘后，您就可以訪(fǎng)問(wèn)和啟用您的由T4賦能的實(shí)例。您也可以在Google Cloud的AI平臺(tái)上啟動(dòng)您的實(shí)例，這是一個(gè)端到端的開(kāi)發(fā)環(huán)境，可幫助機(jī)器學(xué)習(xí)開(kāi)發(fā)人員和數(shù)據(jù)科學(xué)家在任何地方構(gòu)建、共享和運(yùn)行機(jī)器學(xué)習(xí)應(yīng)用程序。一旦準(zhǔn)備就緒，只需幾行代碼，您就可以借助于Tensor核心的自動(dòng)混合精度實(shí)現(xiàn)加速。

規(guī)模效益

NVIDIA T4 GPU還能為HPC批量計(jì)算和渲染工作負(fù)載帶來(lái)卓越的性能和效率，將大規(guī)模部署的效用價(jià)值最大化。一位來(lái)自于普林斯頓大學(xué)（Princeton University）的神經(jīng)科學(xué)研究人員對(duì)T4的獨(dú)特價(jià)格和性能有著這樣的說(shuō)法：

“我們很高興能夠與Google Cloud合作，為神經(jīng)科學(xué)帶來(lái)了一項(xiàng)里程碑式的成就：重建立方毫米新皮層的連接組。能夠使用數(shù)千個(gè)由Kubernetes Engine驅(qū)動(dòng)的T4 GPU是件令人十分興奮的事情。憑借這些計(jì)算資源，我們能夠追蹤長(zhǎng)達(dá)5公里的神經(jīng)元布線(xiàn)，并在微小體積范圍內(nèi)識(shí)別十億個(gè)突觸。”

— Sebastian Seung，普林斯頓大學(xué)

GCP上的Quadro虛擬工作站

T4 GPU也是運(yùn)行虛擬工作站的絕佳選擇，能夠?yàn)?a target="_blank">工程師和專(zhuān)業(yè)創(chuàng)意人員提供支持。借助于GCP Marketplace中的NVIDIA Quadro虛擬工作站，用戶(hù)可以運(yùn)行基于NVIDIA RTX平臺(tái)的應(yīng)用程序，能在任何地方體驗(yàn)新一代計(jì)算機(jī)圖形技術(shù)，包括實(shí)時(shí)光線(xiàn)追蹤和AI增強(qiáng)型圖形，以及視頻和圖像處理。

“通過(guò)Google Cloud訪(fǎng)問(wèn)NVIDIA Quadro虛擬工作站，使得我們的客戶(hù)在任何地方都能快速部署并開(kāi)始使用Autodesk軟件。對(duì)于某些工作流程，運(yùn)用NVIDIA T4和RTX技術(shù)的客戶(hù)能在渲染場(chǎng)景、創(chuàng)建逼真的3D模型和仿真的時(shí)候看到很大的不同。我們很高興繼續(xù)與NVIDIA和Google合作，為藝術(shù)工作流程帶來(lái)更高的效率和速度。”

—Eric Bourque, Senior Software Development Manager, Autodesk