精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

英特爾助力安恒信息加速恒腦大模型推理

英特爾物聯網 ? 來源:英特爾物聯網 ? 2024-08-30 17:04 ? 次閱讀

如今,安全大模型正在為網絡安全行業帶來深度變革,在網絡安全分析、威脅檢測智能策略制定等方面扮演著重要角色。推動大模型在安全場景落地,不僅需要基于安全領域知識,訓練和微調出高質量的安全大模型,還需要面臨在用戶側部署所需的性能、成本和靈活性挑戰。然而,安全大模型有著巨大的參數規模以及復雜的事務處理邏輯,這對算力也提出了新的需求。

01恒腦 ? 安全垂域大模型系統

杭州安恒信息技術股份有限公司(簡稱:安恒信息)推出了基于英特爾 至強 可擴展處理器的恒腦 ? 安全垂域大模型系統(簡稱:恒腦),依托底層多源異構模型、算法調度引擎及海量安全知識,能夠根據業務場景需求切換多種安全角色。

架構設計:

- 引入模型適配器,使恒腦可平滑接入多種基礎模型; - 專項優化的算法調度引擎,使推理任務可跨硬件、跨平臺執行;

- 融入海量安全知識,使恒腦具備多業務場景資深安全專家技能。

功能開發

- 研發智能問答、增強檢索、研判駕駛艙、智能體等功能,實現安全運營智能化和客戶本地知識融合,提升網絡安全運營效率,更易于部署在客戶私網環境。

賦能應用:

- 開放接口、插件、原子能力等方式與現有安全產品或系統深度融合,賦能安全運營人員探索更多場景可能性。

恒腦充分秉承“讓安全更智能,讓智能更安全”的使命,為用戶提供了高效、高性價比、靈活的安全大模型部署選項。

02英特爾 至強 可擴展處理器,

加速恒腦大模型推理

為了兼顧性能、成本等方面的考量,恒腦使用第四代英特爾 至強 可擴展處理器,應對中小規模場景的模型推理需求。

wKgaombRi0KAQqNxAAH7lHc0Uvc251.jpg

第四代英特爾 至強 可擴展處理器內置了創新的英特爾 AMX加速引擎,在AI性能上更進一步,為恒腦-7b、恒腦-14b模型的推理提供卓越支持。英特爾 AMX針對廣泛的硬件和軟件優化,通過提供矩陣類型的運算,顯著增加了人工智能應用程序的每時鐘指令數 (IPC),可為AI工作負載中的訓練和推理上提供顯著的性能提升。

wKgaombRi0KAMjJLAAD0IGy446Y987.jpg

恒腦推理生成速度測試

恒腦利用英特爾 至強 可擴展處理器進行推理加速,讓用戶能夠獲得以下價值:

高效處理百億級別的安全知識條目,滿足智能問答、事件總結報告生成等應用對于性能的需求;

高效利用現有的CPU服務器資源進行推理,降低AI加速器部署與運維帶來的成本壓力,實現更高的投資收益;

獲得由AI扮演的安全運營專家等安全角色,提升安全運營能力,護航網絡安全。

目前,采用第四代英特爾 至強 可擴展處理器的恒腦在智能問答、事件總結報告生成、報文研判等實際場景中得到了廣泛應用。

通過與英特爾 至強 可擴展處理器進行深度適配和性能優化,可有效加速恒腦推理,助力用戶構建起高效能、高性價比的安全垂域大模型系統,有力驅動了網絡安全效能的整體躍升與效率改善。

一王欣

安恒信息研究院院長、高級副總裁

未來,安恒信息將與英特爾在安全大模型方面進行進一步合作,進一步釋放安全大模型的巨大價值。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 英特爾
    +關注

    關注

    60

    文章

    9728

    瀏覽量

    170509
  • 網絡安全
    +關注

    關注

    10

    文章

    3050

    瀏覽量

    59118
  • 大模型
    +關注

    關注

    2

    文章

    2095

    瀏覽量

    1894

原文標題:英特爾助力安恒信息加速恒腦大模型推理,實現智能安全運營

文章出處:【微信號:英特爾物聯網,微信公眾號:英特爾物聯網】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    開箱即用,AISBench測試展示英特爾至強處理器的卓越推理性能

    近期,第五代英特爾?至強?可擴展處理器通過了中國電子技術標準化研究院組織的人工智能服務器系統性能測試(AISBench)。英特爾成為首批通過AISBench大語言模型(LLM)推理性能
    的頭像 發表于 09-06 15:33 ?55次閱讀
    開箱即用,AISBench測試展示<b class='flag-5'>英特爾</b>至強處理器的卓越<b class='flag-5'>推理</b>性能

    浪潮信息?服務器率先支持英特爾?至強?6處理器

    北京2024年6月7日?/美通社/ -- 6月6日,英特爾在全球范圍內發布了英特爾?至強?6處理器,浪潮信息服務器產品線總經理趙帥受邀參會并發表演講。會上,浪潮信息多款元
    的頭像 發表于 06-07 15:36 ?225次閱讀
    浪潮<b class='flag-5'>信息</b>元<b class='flag-5'>腦</b>?服務器率先支持<b class='flag-5'>英特爾</b>?至強?6處理器

    英特爾助力京東云用CPU加速AI推理,以大模型構建數智化供應鏈

    英特爾助力京東云用CPU加速AI推理,以大模型構建數智化供應鏈
    的頭像 發表于 05-27 11:50 ?368次閱讀
    <b class='flag-5'>英特爾</b><b class='flag-5'>助力</b>京東云用CPU<b class='flag-5'>加速</b>AI<b class='flag-5'>推理</b>,以大<b class='flag-5'>模型</b>構建數智化供應鏈

    BittWare提供基于英特爾Agilex? 7 FPGA最新加速

    BittWare 當前的加速板產品組合包括最新的英特爾 Agilex 7 FPGA F、I 和 M 系列,包括 Compute Express Link (CXL) 和 PCIe* 5.0
    的頭像 發表于 04-30 15:22 ?665次閱讀
    BittWare提供基于<b class='flag-5'>英特爾</b>Agilex? 7 FPGA最新<b class='flag-5'>加速</b>板

    英特爾AI產品助力其運行Meta新一代大語言模型Meta Llama 3

    英特爾豐富的AI產品——面向數據中心的至強處理器,邊緣處理器及AI PC等產品為開發者提供最新的優化,助力其運行Meta新一代大語言模型Meta Llama 3
    的頭像 發表于 04-28 11:16 ?456次閱讀

    浪潮信息&quot;源2.0&quot;大模型YuanChat支持英特爾最新商用AI PC

    北京2024年3月27日 /美通社/ -- 3月26日, 浪潮信息英特爾正式宣布,浪潮信息"源2.0系列基礎大模型"已和最新的英特爾? 酷
    的頭像 發表于 03-27 22:52 ?356次閱讀
    浪潮<b class='flag-5'>信息</b>&quot;源2.0&quot;大<b class='flag-5'>模型</b>YuanChat支持<b class='flag-5'>英特爾</b>最新商用AI PC

    浪潮信息英特爾合作推出一種大模型效率工具“YuanChat”

    3月26日,浪潮信息英特爾正式宣布,浪潮信息“源2.0系列基礎大模型”已和最新的英特爾? 酷睿? Ultra處理器平臺完成適配,本地
    的頭像 發表于 03-27 13:50 ?446次閱讀
    浪潮<b class='flag-5'>信息</b>與<b class='flag-5'>英特爾</b>合作推出一種大<b class='flag-5'>模型</b>效率工具“YuanChat”

    新思科技與英特爾深化合作加速先進芯片設計

    近日,新思科技與英特爾宣布深化合作,共同加速先進芯片設計的步伐。據悉,新思科技的人工智能驅動的數字和模擬設計流程已經成功通過英特爾代工的Intel 18A工藝認證,這一突破性的進展標志著雙方在芯片設計領域的合作邁上了新臺階。
    的頭像 發表于 03-06 10:33 ?478次閱讀

    英特爾CPU部署Qwen 1.8B模型的過程

    本文介紹了在英特爾 13 代酷睿 CPU i5 - 13490F 設備上部署 Qwen 1.8B 模型的過程,你需要至少 16GB 內存的機器來完成這項任務,我們將使用英特爾的大模型
    的頭像 發表于 01-12 10:28 ?2303次閱讀

    英特爾專家為您揭秘第五代英特爾? 至強? 可擴展處理器如何為AI加速

    % 1 ,AI 推理性能提升42% 2 。 這一系列性能提升的背后,存在著怎樣的創新與突破?第五代英特爾 至強 可擴展處理器為什么要強調為AI加速?它又是如何做到為AI加速的呢? 從異
    的頭像 發表于 12-23 12:20 ?615次閱讀

    用上這個工具包,大模型推理性能加速達40倍

    作者: 英特爾公司 沈海豪、羅嶼、孟宇、董波、林俊 編者按: 只需不到9行代碼, 就能在CPU上實現出色的LLM推理性能。 英特爾 ?Extension for Transforme
    的頭像 發表于 12-01 20:40 ?947次閱讀
    用上這個工具包,大<b class='flag-5'>模型</b><b class='flag-5'>推理</b>性能<b class='flag-5'>加速</b>達40倍

    #高通 #英特爾 #Elite 高通X Elite芯片或終結蘋果、英特爾的芯片王朝

    高通英特爾蘋果
    深圳市浮思特科技有限公司
    發布于 :2023年10月27日 16:46:07

    最新MLCommons結果公布 英特爾展現強大AI推理性能

    近日,MLCommons公布針對60億參數大語言模型及計算機視覺與自然語言處理模型GPT-J的MLPerf推理v3.1性能基準測試結果,其中包括英特爾所提交的基于Habana Gaud
    的頭像 發表于 09-15 19:35 ?466次閱讀
    最新MLCommons結果公布 <b class='flag-5'>英特爾</b>展現強大AI<b class='flag-5'>推理</b>性能

    最新MLPerf v3.1測試結果認證,Gaudi2在GPT-J模型推理性能驚人

    英特爾產品在全新MLCommons AI推理性能測試中盡顯優勢 今日,MLCommons公布針對 60 億參數大語言模型及計算機視覺與自然語言處理模型GPT-J的 MLPerf
    的頭像 發表于 09-12 17:54 ?364次閱讀
    最新MLPerf v3.1測試結果認證,Gaudi2在GPT-J<b class='flag-5'>模型</b>上<b class='flag-5'>推理</b>性能驚人

    2023服貿會丨一起云逛展,看英特爾如何助力數實融合

    英特爾公司,英特爾英特爾logo及其它英特爾標識,是英特爾公司或其分支機構的商標。文中涉及的其它名稱及品牌屬于各自所有者資產。 原文標題:
    的頭像 發表于 09-09 13:15 ?543次閱讀
    2023服貿會丨一起云逛展,看<b class='flag-5'>英特爾</b>如何<b class='flag-5'>助力</b>數實融合