世界頂尖科技公司的工程師常常發(fā)現(xiàn)，為了滿足公司的獨特需求，他們不得不為現(xiàn)有軟件基礎(chǔ)上開發(fā)定制替代方案。

近日，Uber將自己的Horovod(一個跨多臺機器的分布式深度學(xué)習(xí)訓(xùn)練框架)引入開源項目LF深度學(xué)習(xí)基金會。Uber利用Horovod支持自動駕駛汽車、欺詐檢測和出行預(yù)測，該項目的貢獻者包括Amazon、IBM、Intel和Nvidia。

Horovod是一個分布式的TensorFlow訓(xùn)練框架，目標(biāo)是使分布式深度學(xué)習(xí)快速且易于使用。在Uber內(nèi)部，他們發(fā)現(xiàn)MPI模型比帶參數(shù)服務(wù)器的分布式TensorFlow簡單得多，所需的代碼更改也少得多。

除了Uber，阿里巴巴、亞馬遜和Nvidia也在使用Horovod。Horovod項目可以與TensorFlow、Keras和PyTorch等流行框架一起使用。

Uber上個月加入了Linux基金會，并加入了AT&T和諾基亞等其他科技公司的行列，支持LF深度學(xué)習(xí)基金會的開源項目。LF深度學(xué)習(xí)基金會成立于3月，旨在支持針對深度學(xué)習(xí)和機器學(xué)習(xí)的開源項目，是Linux基金會的一部分。

自該基金會成立以來，其他項目還包括機器學(xué)習(xí)平臺Angel和彈性深度學(xué)習(xí)(Elastic Deep learning)，這是一個幫助云服務(wù)提供商利用TensorFlow等框架制作云集群服務(wù)的項目。

根據(jù)Uber的說法，Horovod讓開發(fā)人員只需幾行代碼就可以完成任務(wù)。這不僅加快了初始修改過程，而且進一步簡化了調(diào)試。考慮到深度學(xué)習(xí)項目的高度迭代性，這同樣可以節(jié)省大量時間。

在過去的幾年里，深度學(xué)習(xí)的進步推動了圖像處理、語音識別和預(yù)測的巨大進步。在Uber，深度學(xué)習(xí)應(yīng)用于整個業(yè)務(wù)，從自動駕駛研究到出行預(yù)測和欺詐預(yù)防，并為用戶創(chuàng)造更好的體驗。

由于種種原因，TensorFlow已經(jīng)成為Uber首選的深度學(xué)習(xí)庫。首先，該框架是用于深度學(xué)習(xí)的最廣泛使用的開源框架之一，這使得新用戶很容易上手。

它還結(jié)合了高性能和修補低級模型細節(jié)的能力——例如，可以同時使用高級api，如Keras，并使用NVIDIA的CUDA工具包實現(xiàn)自己的自定義操作符。

此外，TensorFlow還支持各種深度學(xué)習(xí)用例的端到端支持，從進行探索性研究到將模型部署到云服務(wù)器、移動應(yīng)用程序甚至自動駕駛汽車上。

去年，Uber Engineering推出了米開朗基羅(Michelangelo)，這是一個內(nèi)部的“mvc即服務(wù)”(mvc -as-a-service)平臺，它讓機器學(xué)習(xí)自主化，讓大規(guī)模構(gòu)建和部署這些系統(tǒng)變得容易。

Horovod正是這個米開朗基羅復(fù)雜平臺的組成部分，Uber開發(fā)這個平臺是為了為其內(nèi)部的深度學(xué)習(xí)努力奠定基礎(chǔ)。該公司將該軟件描述為管理AI開發(fā)生命周期各個方面的端到端系統(tǒng)。

鑒于Uber此次宣布開放Horovod，它可能還會隨著時間的推移發(fā)布米開朗基羅其他組件的代碼。

Horovod的出現(xiàn)，也反應(yīng)不同企業(yè)在縱深涉及深度學(xué)習(xí)時遇到了不少問題。

隨著Uber使用越來越多的機器學(xué)習(xí)模型，它們的規(guī)模和數(shù)據(jù)消耗顯著增長。在大多數(shù)情況下，模型仍然足夠小，可以容納一個服務(wù)器中的一個或多個GPU，但是隨著數(shù)據(jù)集的增長，訓(xùn)練時間也在增加，有時需要一周甚至更長時間。

此后，Uber轉(zhuǎn)向了分布式深度學(xué)習(xí)訓(xùn)練。標(biāo)準(zhǔn)的分布式TensorFlow包引入了許多新概念：workers、參數(shù)服務(wù)器、tf.Server()、tf.ClusterSpec()、tf.train. syncreasoptimizer()和tf.train.replicas_device_setter()等等。雖然對某些場景有益，但這也引入了難以診斷的bug，從而減慢了訓(xùn)練速度。

第二個問題是關(guān)于Uber規(guī)模計算的挑戰(zhàn)。在運行了一些基準(zhǔn)測試之后，他們發(fā)現(xiàn)不能使標(biāo)準(zhǔn)的分布式TensorFlow按比例擴展，以及需要的服務(wù)。例如，在128個GPU上進行訓(xùn)練時，由于效率低下，損失了大約一半的資源。

當(dāng)Uber在128個NVIDIA Pascal GPU上運行標(biāo)準(zhǔn)的TensorFlow基準(zhǔn)測試套件時，他們發(fā)現(xiàn)Inception V3和ResNet-101模型都無法利用將近一半的GPU資源。

標(biāo)準(zhǔn)的分布式TensorFlow包使用參數(shù)服務(wù)器方法來平均梯度。在這種方法中，每個流程都有兩個潛在角色之一：Worker或參數(shù)服務(wù)器。Worker用于處理訓(xùn)練數(shù)據(jù)，計算梯度，并將它們發(fā)送到參數(shù)服務(wù)器進行平均。

Uber認為，雖然這種方法提高了性能，但遇到了兩個挑戰(zhàn)：確定Worker與參數(shù)服務(wù)器的正確比例。

如果使用一個參數(shù)服務(wù)器，它可能會成為網(wǎng)絡(luò)或計算瓶頸。如果使用多個參數(shù)服務(wù)器，通信模式將變成“all-to-all”，這可能會使網(wǎng)絡(luò)互連飽和。

處理增加TensorFlow程序復(fù)雜性：在測試中，每個用戶的分布式TensorFlow必須顯式啟動每個Worker和參數(shù)服務(wù)器，通過服務(wù)發(fā)現(xiàn)周圍信息，如所有的Worker和參數(shù)服務(wù)器的主機和端口，并修改培訓(xùn)計劃構(gòu)建tf.Server()和一個適當(dāng)?shù)膖f.ClusterSpec()。

此外，用戶必須確保使用tf.train.device_replica_setter()適當(dāng)?shù)胤胖盟胁僮鳎⑿薷拇a以使用towers來利用服務(wù)器中的多個GPU。這通常會導(dǎo)致陡峭的學(xué)習(xí)曲線和大量的代碼重構(gòu)，從而占用實際建模的時間。

2017年初，百度發(fā)表了一篇文章《將HPC技術(shù)深度學(xué)習(xí)》,涉及到不同的算法平均梯度和溝通這些梯度(上面的第2步和第3步)，該算法基于Patarasuk和Yuan在2009年的論文《工作站集群帶寬最優(yōu)全約算法》中引入的方法。

在環(huán)約簡算法中，每個N個節(jié)點與兩個節(jié)點通信2*(N-1)次。在此通信過程中，節(jié)點發(fā)送和接收數(shù)據(jù)緩沖區(qū)的塊。在前N-1次迭代中，接收到的值被添加到節(jié)點緩沖區(qū)的值中。在第二次N-1迭代中，接收到的值替換節(jié)點緩沖區(qū)中保存的值。

百度的論文認為，該算法是帶寬最優(yōu)的，這意味著如果緩沖區(qū)足夠大，它將最優(yōu)地利用可用網(wǎng)絡(luò)。

Uber也意識到，采用環(huán)減少(ring-allreduce)方法可以提高可用性和性能，這促使我們自己開發(fā)實現(xiàn)，以滿足Uber的TensorFlow需求。隨后，Uber采用了百度的TensorFlow ring-allreduce算法，并在此基礎(chǔ)上進行了構(gòu)建。

Uber將代碼轉(zhuǎn)換為一個名為Horovod的獨立Python包，這個包是以俄羅斯傳統(tǒng)的民間舞蹈命名的，在這種舞蹈中，表演者挽著手臂繞圈跳舞，就像分布式TensorFlow進程使用Horovod彼此通信一樣。

Uber目前的不同團隊都可能使用不同版本的TensorFlow，但他們希望所有團隊都能夠利用ring-allreduce算法，而不需要升級到TensorFlow的最新版本，對自己的版本應(yīng)用補丁，甚至不需要花時間構(gòu)建框架。

有了一個獨立的包，Uber表示就可以根據(jù)硬件的不同，將安裝Horovod所需的時間從大約1小時縮短到幾分鐘。Horovod在Inception V3和ResNet-101中都達到了90%的縮放效率，在VGG-16中達到了79%的縮放效率。

此外，Uber用NCCL替換了百度ring-allreduce實現(xiàn)，NCCL是NVIDIA的集合通信庫，它提供了高度優(yōu)化的ring-allreduce版本。NCCL 2引入了跨多臺機器運行ring-allreduce的能力，能夠利用它的許多性能提升優(yōu)化。

Uber還在此基礎(chǔ)上增加了對適合單個服務(wù)器模型的支持，可能是在多個GPU上，而原來的版本只支持適合單個GPU的模型。

Horovod項目負責(zé)人亞歷克斯?瑟蓋夫(Alex Sergeev)表示，Horovod是為了讓各行各業(yè)的人工智能研究人員能夠更快、更直觀地進行深度學(xué)習(xí)模型訓(xùn)練。后續(xù)隨著Horovod在功能和應(yīng)用方面的不斷成熟，加入LF將使我們能夠進一步擴大它在開源生態(tài)系統(tǒng)中的影響。