如今,安全大模型正在為網絡安全行業帶來深度變革,在網絡安全分析、威脅檢測、智能策略制定等方面扮演著重要角色。推動大模型在安全場景落地,不僅需要基于安全領域知識,訓練和微調出高質量的安全大模型,還需要面臨在用戶側部署所需的性能、成本和靈活性挑戰。然而,安全大模型有著巨大的參數規模以及復雜的事務處理邏輯,這對算力也提出了新的需求。
01恒腦 ? 安全垂域大模型系統
杭州安恒信息技術股份有限公司(簡稱:安恒信息)推出了基于英特爾 至強 可擴展處理器的恒腦 ? 安全垂域大模型系統(簡稱:恒腦),依托底層多源異構模型、算法調度引擎及海量安全知識,能夠根據業務場景需求切換多種安全角色。
◆ 架構設計:
- 引入模型適配器,使恒腦可平滑接入多種基礎模型; - 專項優化的算法調度引擎,使推理任務可跨硬件、跨平臺執行;
- 融入海量安全知識,使恒腦具備多業務場景資深安全專家技能。
◆功能開發:
- 研發智能問答、增強檢索、研判駕駛艙、智能體等功能,實現安全運營智能化和客戶本地知識融合,提升網絡安全運營效率,更易于部署在客戶私網環境。
◆ 賦能應用:
- 開放接口、插件、原子能力等方式與現有安全產品或系統深度融合,賦能安全運營人員探索更多場景可能性。
恒腦充分秉承“讓安全更智能,讓智能更安全”的使命,為用戶提供了高效、高性價比、靈活的安全大模型部署選項。
02英特爾 至強 可擴展處理器,
加速恒腦大模型推理
為了兼顧性能、成本等方面的考量,恒腦使用第四代英特爾 至強 可擴展處理器,應對中小規模場景的模型推理需求。
第四代英特爾 至強 可擴展處理器內置了創新的英特爾 AMX加速引擎,在AI性能上更進一步,為恒腦-7b、恒腦-14b模型的推理提供卓越支持。英特爾 AMX針對廣泛的硬件和軟件優化,通過提供矩陣類型的運算,顯著增加了人工智能應用程序的每時鐘指令數 (IPC),可為AI工作負載中的訓練和推理上提供顯著的性能提升。
恒腦推理生成速度測試
恒腦利用英特爾 至強 可擴展處理器進行推理加速,讓用戶能夠獲得以下價值:
高效處理百億級別的安全知識條目,滿足智能問答、事件總結報告生成等應用對于性能的需求;
高效利用現有的CPU服務器資源進行推理,降低AI加速器部署與運維帶來的成本壓力,實現更高的投資收益;
獲得由AI扮演的安全運營專家等安全角色,提升安全運營能力,護航網絡安全。
目前,采用第四代英特爾 至強 可擴展處理器的恒腦在智能問答、事件總結報告生成、報文研判等實際場景中得到了廣泛應用。
通過與英特爾 至強 可擴展處理器進行深度適配和性能優化,可有效加速恒腦推理,助力用戶構建起高效能、高性價比的安全垂域大模型系統,有力驅動了網絡安全效能的整體躍升與效率改善。
一王欣
安恒信息研究院院長、高級副總裁
未來,安恒信息將與英特爾在安全大模型方面進行進一步合作,進一步釋放安全大模型的巨大價值。
-
英特爾
+關注
關注
60文章
9728瀏覽量
170509 -
網絡安全
+關注
關注
10文章
3050瀏覽量
59118 -
大模型
+關注
關注
2文章
2095瀏覽量
1894
原文標題:英特爾助力安恒信息加速恒腦大模型推理,實現智能安全運營
文章出處:【微信號:英特爾物聯網,微信公眾號:英特爾物聯網】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論