精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

通過平衡傳播獲得更好的AI芯片

倩倩 ? 來源:文財網 ? 2020-09-25 10:48 ? 次閱讀

AI專業人員一直在追求一種AI,它肯定會降低做普通AI事情所需的能量,例如感知單詞和圖片。這種機器學習模擬類型利用電路的物理原理而不是數字原理來完成神經網絡的一項重要數學任務。但是,限制該方法的主要因素之一是深度學習的訓練算法(反向傳播)必須由GPU或其他單獨的數字框架來完成。

神經形態芯片初創公司Rain Neuromorphics與加拿大研究院Mila之間的研究合作表明,可以想象使用完全模擬的硬件來訓練神經網絡,這為端到端的模擬神經網絡提供了機會。這對神經形態處理和AI硬件整體具有重大影響-它保證了完全可用于訓練和推理的模擬AI芯片,從而顯著節省了計算,功耗,等待時間和大小。這項進步將工程學和深度學習的紐帶聯系在一起,為AI動力機器人打開了入口之門,這種機器人可以在現場獨自學習,就像人類一樣。

在由“人工智能的教父”之一,獲獎者Yoshua Bengio共同創建的題為“具有均衡傳播的端到端模擬神經網絡訓練”的論文中,分析家們表明,可以訓練神經網絡來利用交叉開關憶阻器的展示,就像在當今使用內存中處理器方法的商業AI加速器芯片中使用的安排一樣,卻沒有在網絡的每一層之間使用相關的ADCDAC。結果為潛力更大的高能效AI硬件提供了潛力

Rain Neuromorphics首席執行官戈登·威爾遜(Gordon Wilson)表示:“如今,能源利用和成本是最大的制約因素,使我們無法交付新型人工智能。我們確實需要找到一種無可否認地更有效的計算基礎,一種本質上可以提高能源效率的基礎,一種允許我們不將培訓局限于大型數據中心的基礎,但除此之外,我們還可以進入一個可以設想免費,自主的世界,能源無限的設備,獨自學習。同樣,這是我們認為這一新進展正在打開通向的大門。”

分析人員已經對MNIST分類(改良的美國國家標準與技術研究院手寫數字數據庫)的端到端模擬神經網絡進行了模擬訓練,其性能與相同大小的基于軟件的神經網絡相似或更好。

模擬電路可以在某種程度上節省神經網絡的功率,因為??它們可以熟練地進行稱為乘法和累加的關鍵計算。該估計值會根據不同的負載乘以貢獻值,然后匯總這些值中的每一個。電氣工程的兩個基本定律也可以從根本上做到這一點。歐姆定律將電壓和電導相乘以提供電流,基爾霍夫的“電流定律”將輸入點的電流相加。通過將神經網絡的權重存儲在電阻式存儲小部件(例如憶阻器)中,乘法和累加可以完全以模擬方式發生,可以將功耗降低幾個數量級。

如今,模擬AI系統無法訓練自己的原因與零件的可變性息息相關。與真實神經元非常相似,模擬神經網絡中的神經元并非完全無法區分。要對模擬段進行反向傳播,您應該制造兩條單獨的電路路徑。一個人繼續思考一個答案(稱為推理),另一個人反過來進行學習,因此適當的回答變得更加準確。但是由于模擬成分的可變性,這些途徑無法協調。

平衡傳播(EqProp),由Bengio和Scellier在2017年設計的一種方法。這種訓練算法只有一條數據路徑,因此可以避免模擬硬件中的反向傳播問題。但是有一個警告。EqProp僅適用于基于能源的網絡。

結果是,盡管EqProp自2017年以來就已經存在,但這項新工作已將抽象思想轉變為可以通過電路物理識別的事物。這將使端到端的模擬計算成為可能,而無需在每個步驟都切換到數字域或從數字域切換。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 芯片
    +關注

    關注

    454

    文章

    50444

    瀏覽量

    421934
  • 機器學習
    +關注

    關注

    66

    文章

    8381

    瀏覽量

    132428
  • 深度學習
    +關注

    關注

    73

    文章

    5493

    瀏覽量

    120989
收藏 人收藏

    評論

    相關推薦

    【每天學點AI】前向傳播、損失函數、反向傳播

    在深度學習的領域中,前向傳播、反向傳播和損失函數是構建和訓練神經網絡模型的三個核心概念。今天,小編將通過一個簡單的實例,解釋這三個概念,并展示它們的作用。前向傳播:神經網絡的“思考”過
    的頭像 發表于 11-15 10:32 ?488次閱讀
    【每天學點<b class='flag-5'>AI</b>】前向<b class='flag-5'>傳播</b>、損失函數、反向<b class='flag-5'>傳播</b>

    平衡創新與倫理:AI時代的隱私保護和算法公平

    的發展不應背離人類的倫理道德。在推動技術創新的同時,我們必須確保每一步都走得穩健和負責。通過提高透明度、保障算法公平性、保護個人隱私權以及加強國際合作,我們可以確保AI技術的健康發展,使其成為促進社會進步和增進人類福祉的力量。
    發表于 07-16 15:07

    ai大模型和傳統ai的區別在哪?

    AI大模型和傳統AI的區別主要體現在以下幾個方面: 數據量和訓練規模 AI大模型通常需要大量的數據進行訓練,以獲得更好的性能。相比之下,傳統
    的頭像 發表于 07-16 10:06 ?1200次閱讀

    神經網絡前向傳播和反向傳播區別

    神經網絡訓練中的作用。 前向傳播(Forward Propagation) 前向傳播是神經網絡中最基本的過程,它將輸入數據通過網絡層進行逐層計算,最終得到輸出結果。前向傳播的過程可以分
    的頭像 發表于 07-02 14:18 ?670次閱讀

    AI芯片會導元件中間商消失嗎?

    元件AI芯片
    芯廣場
    發布于 :2024年06月19日 18:10:01

    AI芯片哪里買?

    AI芯片
    芯廣場
    發布于 :2024年05月31日 16:58:19

    risc-v多核芯片AI方面的應用

    RISC-V多核芯片AI方面的應用主要體現在其低功耗、低成本、靈活可擴展以及能夠更好地適應AI算法的不同需求等特點上。 首先,RISC-V適合用于高效設計實現,其內核面積更小,功耗更
    發表于 04-28 09:20

    開發者手機 AI - 目標識別 demo

    。 NNRt host 實現了NNRt HDI接口功能,通過對接底層AI芯片接口為上層應用提供NPU硬件推理的能力。 功能實現 JS從相機數據流獲取一張圖片,調用Native的接口進行目標識別的處理
    發表于 04-11 16:14

    AI芯片未來會控制這個世界嗎?

    AI芯片行業資訊
    芯廣場
    發布于 :2024年03月27日 18:21:28

    ai芯片是什么東西 ai芯片和普通芯片的區別

    AI芯片是專門為人工智能應用設計的處理器,它們能夠高效地執行AI算法,特別是機器學習和深度學習任務。
    的頭像 發表于 03-21 18:11 ?6500次閱讀

    AI芯片短缺已影響超微電腦

    AI芯片行業芯事
    深圳市浮思特科技有限公司
    發布于 :2024年02月21日 10:18:59

    英偉達將用AI設計AI芯片

    AI芯片行業資訊
    深圳市浮思特科技有限公司
    發布于 :2024年02月19日 17:54:43

    Open AI進軍芯片業技術突破與市場機遇

    Sam希望獲得資金支持一個雄心勃勃的項目,目的是創建先進芯片,減少對目前AI芯片市場領導者英偉達的依賴,芯片算力對于訓練
    發表于 01-22 14:37 ?339次閱讀
    Open <b class='flag-5'>AI</b>進軍<b class='flag-5'>芯片</b>業技術突破與市場機遇

    AI大模型怎么解決芯片過剩?

    AI大模型
    電子發燒友網官方
    發布于 :2024年01月02日 15:42:05

    什么是電橋平衡 怎么判斷電橋平衡

    什么是電橋平衡 怎么判斷電橋平衡? 電橋平衡是指在電橋電路中,通過調節電橋比較臂的物理量(電阻、電容、電感等)使得電橋達到平衡狀態,即電橋兩
    的頭像 發表于 12-21 14:30 ?6735次閱讀