精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

始于硬件卻也被硬件所限的深度學習

lPCU_elecfans ? 來源:未知 ? 2022-12-05 07:10 ? 次閱讀
電子發燒友網報道(文/周凱揚)深度學習硬件AI時代已經引領了不少設計創新,無論是簡單的邊緣推理,還是大規模自然語言模型的訓練,都有了性能上的突破。作為業內在深度學習上投入最多的公司之一,英偉達無疑是這類硬件的領軍者。
近日,在伯克利大學的電子工程與電腦科學學院研討會上,英偉達的首席科學家、研究部門高級副總裁同時兼任該校副教授的Bill Dally,分享了從他這個從業人士看來,發生在深度學習硬件上的一些趨勢。

硬件成為限制

AI的浪潮其實早在20世紀就被多次掀起過,但真正成為人們不可忽視的巨浪,還是這十幾年的事,因為這時候AI有了天時地利人和:算法與模型,大到足夠訓練這些模型的數據集,以及能在合理的時間內訓練出這些模型的硬件。
但從帶起第一波深度學習的AlexNet,到如今的GPT-3和Turing NLG等,人們不斷在打造更大的數據集和更大的模型,加上大語言模型的興起,對訓練的要求也就越來越高。可在摩爾定律已經放緩的當下,訓練時間也在被拉長。

基于Hopper架構的H100 GPU / 英偉達
以英偉達為例,到了帕斯卡這一代,他們才真正開始考慮單芯片的深度學習性能,并結合到GPU的設計中去,所以才有了Hopper這樣超高規格的AI硬件出現。但我們在訓練這些模型的時候,并沒有在硬件規模上有所減少,仍然需要用到集成了數塊Hopper GPU的DGX系統,甚至打造一個超算。很明顯,單從硬件這一個方向出發已經有些不夠了,至少不是一個“高性價比”的方案。

軟硬件全棧投入

硬件推出后,仍要針對特定的模型進行進一步的軟件優化,因此即便是同樣的硬件,其AI性能也會在未來呈現數倍的飛躍。從上個月的MLPerf的測試結果就可以看出,在A100 GPU推出的2.5年內,英偉達就靠軟件優化實現了最高2.5倍的訓練性能提升,當然了最大的性能提升還是得靠H100這樣的新硬件來實現。
Bill Dally表示這就是英偉達的優勢所在,雖然這幾年投入進深度學習硬件的資本不少,但隨著經濟下行,不少投資者已經喪失了信心,所以不少AI硬件初創公司都沒能撐下去,他自己也在這段時間看到了不少向英偉達投遞過來的簡歷。
他認為不少這些公司都已經打造出了自己的矩陣乘法器,但他們并沒有在軟件上有足夠的投入,所以即便他們一開始給出的指標很好看,也經常拿英偉達的產品作為對比,未來的性能甚至比不過英偉達的上一代硬件,更別說Hopper這類新產品了。

加速器

相較傳統的通用計算硬件,加速器在深度學習上明顯要高效多了,因為加速器往往都是作為一種專用單元存在的,比如針對特定的數據類型和運算。加速器可以在一個運算周期內就完成通常需要花上10秒或100秒才能完成的工作量,效率最高可提升1000倍。

A100和H100的MLPerf跑分 / 英偉達
當然了要追求純粹的性能提升,而不是效率提升的話,這些加速器也可以采用大規模并行設計,比如典型的32x32矩陣乘法單元,同時運行的運算有了千百倍的提升。加速器在內存設計上也更具有優勢,比如針對特定的數據結構和運算,選擇優化過的高帶寬低能耗內存,同時盡可能使用本地內存,減少數據搬運來控制開銷。
對于英偉達來說,他們在加速器上的研究更像是為GPU準備的試驗田,一旦有優秀的成果出現,這些加速器就會成為GPU上的新核心。

小結

從Bill Dally的分享中,我們可以看出英偉達這樣的巨頭在深度學習上選擇的技術路線,以及他們為何能在眾多初創公司涌現、大廠入局的當下巋然不動的底氣。這并不是說深度學習硬件的道路只有這一條,類腦芯片等技術的出現也提供了新的破局機會,但有了前人經驗的借鑒后,在兼顧性能、數值精度、模型的同時,還是得在軟件上下大功夫才行。

聲明:本文由電子發燒友原創,轉載請注明以上來源。如需入群交流,請添加微信elecfans999,投稿爆料采訪需求,請發郵箱huangjingjing@elecfans.com。


更多熱點文章閱讀

  • 最高漲幅25%,AMD宣布上調Xilinx FPGA售價,供應短缺讓TOP 2廠商受益
  • 時隔20年,莫斯科人汽車再次復產,背后全是中國車企的影子
  • 歐盟超430億歐元投向芯片領域,對上游半導體設備有何影響?
  • 24W以下電源,新型自供電BJT方案將全面取代其他方案?
  • 車用芯片不再缺?芯片大廠表示有所緩解,真實情況究竟如何呢?


原文標題:始于硬件卻也被硬件所限的深度學習

文章出處:【微信公眾號:電子發燒友網】歡迎添加關注!文章轉載請注明出處。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴

原文標題:始于硬件卻也被硬件所限的深度學習

文章出處:【微信號:elecfans,微信公眾號:電子發燒友網】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    NPU在深度學習中的應用

    設計的硬件加速器,它在深度學習中的應用日益廣泛。 1. NPU的基本概念 NPU是一種專門針對深度學習算法優化的處理器,它與傳統的CPU和G
    的頭像 發表于 11-14 15:17 ?298次閱讀

    pcie在深度學習中的應用

    深度學習模型通常需要大量的數據和強大的計算能力來訓練。傳統的CPU計算資源有限,難以滿足深度學習的需求。因此,GPU(圖形處理單元)和TPU(張量處理單元)等專用
    的頭像 發表于 11-13 10:39 ?289次閱讀

    GPU深度學習應用案例

    能力,可以顯著提高圖像識別模型的訓練速度和準確性。例如,在人臉識別、自動駕駛等領域,GPU廣泛應用于加速深度學習模型的訓練和推理過程。 二、自然語言處理 自然語言處理(NLP)是深度
    的頭像 發表于 10-27 11:13 ?328次閱讀

    FPGA加速深度學習模型的案例

    FPGA(現場可編程門陣列)加速深度學習模型是當前硬件加速領域的一個熱門研究方向。以下是一些FPGA加速深度學習模型的案例: 一、基于FPG
    的頭像 發表于 10-25 09:22 ?145次閱讀

    AI大模型與深度學習的關系

    AI大模型與深度學習之間存在著密不可分的關系,它們互為促進,相輔相成。以下是對兩者關系的介紹: 一、深度學習是AI大模型的基礎 技術支撐 :深度
    的頭像 發表于 10-23 15:25 ?374次閱讀

    FPGA做深度學習能走多遠?

    并行計算的能力,可以在硬件層面并行處理大量數據。這種并行處理能力使得 FPGA 在執行深度學習算法時速度遠超傳統處理器,能夠提供更低的延遲和更高的吞吐量,從而加速模型訓練和推理過程,滿足實時性要求較高
    發表于 09-27 20:53

    如何幫助孩子高效學習Python:開源硬件實踐是最優選擇

    家長們常常擔心孩子在學習Python時所面臨的挑戰,如復雜性、興趣保持、學習進度和可用資源。對于希望有效教授孩子Python的家長而言,了解硬件的作用至關重要,因為結合硬件項目的Pyt
    的頭像 發表于 09-06 09:49 ?269次閱讀

    啟明智顯:深度融合AI技術,引領硬件產品全面智能化升級

    啟明智顯,作為AI領域的先行者,正以前所未有的決心和行動力,深度融合先進的人工智能技術,引領硬件產品全面智能化升級
    的頭像 發表于 07-18 16:11 ?363次閱讀
    啟明智顯:<b class='flag-5'>深度</b>融合AI技術,引領<b class='flag-5'>硬件</b>產品全面智能化升級

    深度學習中的時間序列分類方法

    時間序列分類(Time Series Classification, TSC)是機器學習深度學習領域的重要任務之一,廣泛應用于人體活動識別、系統監測、金融預測、醫療診斷等多個領域。隨著深度
    的頭像 發表于 07-09 15:54 ?707次閱讀

    EVASH Ultra EEPROM:美國權威雜志評為優秀硬件存儲廠商

    EVASH Ultra EEPROM:美國權威雜志評為優秀硬件存儲廠商
    的頭像 發表于 07-01 12:53 ?275次閱讀

    EVASH Ultra EEPROM:Google認定為五大硬件廠商之一

    EVASH Ultra EEPROM:Google認定為五大硬件廠商之一
    的頭像 發表于 07-01 12:47 ?285次閱讀

    深度學習編譯工具鏈中的核心——圖優化

    深度神經網絡模型可以看做由多個算子連接而成的有向無環圖,圖中每個算子代表一類操作(如乘法、卷積),連接各個算子的邊表示數據流動。在部署深度神經網絡的過程中,為了適應硬件平臺的優化、硬件
    的頭像 發表于 05-16 14:24 ?844次閱讀
    <b class='flag-5'>深度</b><b class='flag-5'>學習</b>編譯工具鏈中的核心——圖優化

    FPGA在深度學習應用中或將取代GPU

    ,這使得它比一般處理器更高效。但是,很難對 FPGA 進行編程,Larzul 希望通過自己公司開發的新平臺解決這個問題。 專業的人工智能硬件已經成為了一個獨立的產業,但對于什么是深度學習算法的最佳
    發表于 03-21 15:19

    目前主流的深度學習算法模型和應用案例

    深度學習在科學計算中獲得了廣泛的普及,其算法廣泛用于解決復雜問題的行業。所有深度學習算法都使用不同類型的神經網絡來執行特定任務。
    的頭像 發表于 01-03 10:28 ?1767次閱讀
    目前主流的<b class='flag-5'>深度</b><b class='flag-5'>學習</b>算法模型和應用案例

    海思Hi3566V100 I2C硬件設計要點

    上一期我們介紹了 【基于深度學習 2D 人臉識別的NXP i.MX 8M Shark 方案】,本期將給大家推出海思硬件設計系列:Hi3566V100 I2C 硬件設計要點。
    的頭像 發表于 12-04 11:38 ?1478次閱讀
    海思Hi3566V100 I2C<b class='flag-5'>硬件</b>設計要點