2024年毫無疑問是大模型應用落地元年，面對靈活多變的任務和復雜的場景環境，用邊緣AI打造低成本、高效能、強落地的大模型應用是關鍵。

2024慕尼黑上海電子展在上海隆重開幕。在首日的“2024算力技術創新發展生態大會”上，云天勵飛受邀發表主題演講，全面系統地介紹了公司以邊緣AI作為推動大模型產業規模化應用的切入點，圍繞國產邊緣AI芯片在架構和技術上進行的創新和探索。

技術平臺如何打造?應用驅動是關鍵

科技創新日新月異，但技術發展與迭代若沒有應用落地和使用場景的支撐，就像無本之木沒有根基。云天勵飛深入場景落地、沉淀技術平臺，在公共安全、城市治理、智慧交通、人居生活等行業落地多個標桿案例，同時率先提出“1+1+N”自進化城市智能體的實踐框架。

在此過程中，云天勵飛堅持自主研發芯片，沉淀 “算法芯片化” 的核心能力。這里的“算法芯片化”并不是簡單的“算法+芯片”，而是基于對場景的理解，對應用中關鍵計算負載——算法的量化分析，將芯片設計者的理念、思想與算法相融合的方法論和芯片設計流程，它能夠讓AI芯片在實際應用中發揮更優的效果。

在算法層面，云天勵飛構建了應用落地驅動的算法平臺，開發了“云天天書”大模型。

在神經網絡處理器和芯片層面，云天勵飛通過自定義指令集、處理器架構以及工具鏈的協同設計，構建了算法驅動的神經網絡處理器平臺和面向邊緣AI的芯片平臺，完成了四代神經網絡處理器架構的技術迭代，自主研發了三代邊緣AI芯片，并陸續投入商用。

推動大模型規模化落地 邊緣AI是關鍵

隨著人工智能進入大模型時代，多模態模型和具身多模態模型成為人工智能重要的技術方向。同時，在大模型產業規模化應用落地的驅動下，算力需求也從云側向邊緣側和終端擴展。

在大模型領域，“云天天書”大模型采用通用大模型、行業大模型、場景大模型的三層架構設計，包含了語言大模型、視覺大模型、多模態大模型等不同系列，能提供十億、百億、千億級參數量的多尺寸大模型，實現對多個行業賦能，并支持各類場景的快速部署。

通過首創的SPACE高性能推理引擎，可以在保證精度的同時，實現更高并發、更快推理、更低成本的行業應用方案。云天勵發構建了完備的大模型安全體系，“云天天書”大模型也已正式通過中央網信辦備案。

通過可微調的場景大模型的多種能力，云天勵飛打造了具有專業領域知識的智能體，實現公共安全、智慧政務、城市治理、智慧交通、AI教育等多個行業的智能應用賦能。

為邊緣AI筑牢算力底座 芯片創新是關鍵

云天勵飛大模型的行業應用落地實踐中，發現推理微調算力需求將超過通用訓練算力的需求，“云邊端”的混合協同部署將成為趨勢，同時由于專用推理微調硬件的價格優勢和能效優勢，邊緣的專用推理微調芯片將有廣闊市場空間。云天勵飛以終為始，將邊緣推理微調作為芯片創新的切入點。

從N個場景、N套算法，到N個場景、1套算法，從“教了才會”到無師自通，從硬件、軟件、人力的大量投入到0成本調用，支撐“云天天書”大模型在多個行業快速落地應用，推理微調芯片功不可沒。云天勵飛DeepEdge10系列芯片，正是這樣的存在。

DeepEdge10系列芯片基于國產先進工藝，集成了自研神經網絡處理器NNP400T，不僅采用了高集成度的 SoC 主控級設計，還在國內首創采用 Die-to-Die 高速互聯架構和 Chiplet 先進封裝設計，實現了片內算力的靈活拓展。同時，還支持基于 Chip-to-Chip 組網互聯進行系統擴展，可滿足千億級參數大模型的邊緣微調部署需求。

通過架構創新，DeepEdge10系列芯片實現了純國產芯片在邊緣AI場景的突圍，賦能邊緣全場景的智能應用，推動大模型場景的規模化落地。

目前，針對不同邊緣應用場景，云天勵飛正式推出支持多種算力性能和多種內存容量配置的DeepEdge10系列芯片，賦能大模型規模化應用落地，促進中國人工智能高質量發展，云天勵飛期待和各個行業的生態伙伴共同努力。