精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

算力即服務,首個基于RISC-V算力的行業大模型生態系統問世

RISCV國際人才培養認證中心 ? 2024-10-26 08:05 ? 次閱讀

近年來,我國始終將“數字化”“智能化”擺在關鍵位置,一再強調加快數字經濟發展,推進數字產業化、產業數字化,推動互聯網、大數據、人工智能和實體經濟深度融合。

2022年OpenAI發布的ChatGPT及其背后的GPT系列預訓練基座大語言模型,引領了從判別式小模型轉向生成式大模型的發展熱潮。各行各業紛紛嘗試借助基座大模型打造垂類大模型行業應用,期望給業務帶來新的突破,同時又深深擔心算力供應的穩定性和安全可靠性。

廣州希姆半導體科技有限公司(后文中簡稱希姆計算)作為一家致力于研發AI領域專用架構處理器的公司,始終深耕RISC-V路線并以商業落地為導向,是少數從芯片指令集到上層應用全面布局的創新型企業。隨著大模型的火熱,希姆計算敏銳的覺察到各行業對優質且安全可靠算力服務的需求,積極跟進AI行業前沿技術并落地行業應用,旨在基于RISC-V本身強大的自主可控標準化優勢通過軟硬一體的大模型解決方案為政企客戶的數智化轉型賦能。

大模型、智能體、數據治理——

政企場景落地的關鍵

在數智化轉型的大潮中,政企面臨著處理與分析海量數據的挑戰,并且普遍存在業務邏輯復雜、定制化要求高、部門協同難度大、數據壁壘難以打破等困難,單一技術手段難以應對這種復雜的業務場景,亟需平臺級產品促進業務發展、提升競爭力。

經過對政企場景進行了深入調研,希姆計算設計開發了希姆九州大模型(后文中簡稱九州)、希姆玄數數據治理平臺(后文中簡稱玄數)以及希姆擎天智能體開發平臺(后文中簡稱擎天),三者相輔相成,共同構建了一個高效的數據處理生態系統,覆蓋了大模型應用開發的完整生命周期,不僅解決了單一技術手段難以應對復雜業務場景的問題,而且極大地促進了從數據到價值轉化的過程。

這套系統有機結合共同解決基座大模型應用中常見的“幻覺問題”,滿足政企業務對準確率的苛刻要求,推動政企數智化轉型,提升整體競爭力。

00ed1d6a-932e-11ef-8084-92fbcf53809c.png

九州是面向政企領域的垂直大模型,基于20億條垂直領域與開源語料深度訓練而成,不僅掌握了豐富的通用知識,還特別強化了對垂類場景的理解,能夠精準把握地方政策法規、理解業務場景意圖并生成相關內容。在企業內部管理、客戶服務、產品推薦,數據檢索查詢等場景中,九州能夠更準確地理解企業特定的業務需求和術語。

九州不僅助力政企數字化轉型,提升業務質量,還實現了一種全新的知識沉淀的機制來幫助業務部門更高效和透明的提供服務。

00fd3e0c-932e-11ef-8084-92fbcf53809c.png

玄數集成了強大的數據智能抽取與知識增強功能。通過實體抽取、關系抽取、屬性抽取及屬性對齊技術,玄數能夠高效地從非結構化和半結構化數據中提取關鍵信息。此外,利用屬性增強和關系增強技術,可以進一步豐富和完善數據的知識體系,提升數據的可用性和價值。

玄數兼容諸多大小模型,涵蓋了自然語言處理(NLP)、自然語言生成(NLG)及命名實體識別(NER)、OCR等多個領域的任務,確保平臺在文本理解、內容生成、信息檢索等方面的卓越表現。客戶可以輕松實現數據資產的價值最大化,促進業務流程優化與決策支持。

01036462-932e-11ef-8084-92fbcf53809c.png

擎天作為業界領先的智能體開發平臺集成了智能體構建、知識管理、工作流編排等核心功能,通過結合九州和多種小模型(如BERT、Embedding和Rerank模型),提供高效、精準的數據處理和服務能力。在工作流編排模塊提供了豐富的交互界面和接口,支持快速在搭建各種業務場景的工作流,同時支持低代碼開發。

而在Agent開發管理方面,擎天兼容主流的Agent開發范式,可以幫助政企客戶快速搭建高階智能體應用。在知識管理方面,擎天除了支持標準的向量數據庫,還結合政企場景的業務提供了先進高效的知識圖譜檢索算法,從而提高推理的準確性和可靠性。

希姆計算基于擎天、九州、玄數平臺,為廣州市黃埔區開發了智能政務問答助手,利用政務圖譜能夠從海量的政務公共數據中提煉關鍵信息,在落地中涵蓋了37個政府部門的2000余項事項以及數千份政策文件和指南。無論是政策咨詢還是具體辦事流程,該助手都能根據政務圖譜提供準確的答案。

相比傳統的問答助手,該助手將政務咨詢準確率從30%左右提高到95%以上,辦事體驗更加流暢自然,減少了對人工客服的需求,促進了政務知識沉淀。相對于傳統軟件系統,智能體可以更好的服務業務應用。

服務政企客戶的經驗來之不易,在研發過程中面臨著諸多挑戰,研發副總裁王得科說:“政企垂直場景的挑戰是要做一個真正‘懂’業務的智能體,我們不僅提供了一套智能系統,也為客戶引入了一種全新的工作模式。這一過程要求我們對客戶的業務有深入的理解,并將這種理解深度結合到大模型應用的開發實踐中。”

支撐一個AI應用,需要多少技術棧

010d5242-932e-11ef-8084-92fbcf53809c.jpg

AI的發展經歷了數次高潮和低谷,在第三次高潮中深度學習是主流的技術路線。隨著ChatGPT印證了Scaling Law以及隨之產生的智能涌現能力,大模型的智能上升到了前所未有的量級,其背后采用的Transformer算法和預訓練大模型的生成式AI技術,讓這股發展勢頭達到了前所未有的高度,大模型的規模也屢創新高。

大模型規模的增長不斷刷新著算力需求的上限,隨之而來的算力焦慮正在困擾整個行業。如果說AI應用是露出海面的冰山一角,支持AI應用以及大模型的算力解決方案、智算集群乃至AI芯片就是冰山穩穩浮起的底層保障。

希姆計算從公司成立伊始就堅持軟硬一體自主可控的發展方向,支撐九州、玄數、擎天的底層核心軟硬件全鏈路自主研發,基于自研AI計算矩陣擴展指令集設計了STCP920芯片、推理卡以及配套軟件,為智算中心量身定制了希姆智算云平臺,提供了落地大模型應用的RISC-V創新方案,是RISC-V軟硬一體技術創新的代表性企業。

RISC-V,數智時代的天選之子

如果說x86架構是抓住了個人PC普及的機遇,ARM抓住了移動時代的浪潮,那么當前隨著AI等技術的快速發展,RISC-V迎來新的發展浪潮。

政企業務需要穩定高效靈活的算力基座,自主可控的底層技術,長期安全可持續的發展路徑以及逐步繁榮和國際接軌的生態體系。RISC-V+AI完美的滿足政企業務的這些需求,是解決當下AI算力焦慮的最佳方案,也是我國獨立發展大芯片的重要技術路線。

希姆計算在創業時就瞄準了基于RISC-V研發AI領域專用架構處理器的切入點,突破了SIMD向量指令、GEMM通用矩陣計算以及深度學習模型中的算子計算加速等技術難關,自主研發并在全球范圍內率先開源了AI計算矩陣擴展指令集,完成了基于RISC-V指令集的標量、向量、張量的一體化指令集架構,也形成了自身的核心競爭力。

憑借對RISC-V生態發展的深度參與和貢獻的技術成果,希姆計算獲得了行業的高度認可,先后被接納為RISC-V國際基金會最高級別會員、RISC-V董事會成員單位、RISC-V TSC技術委員會成員單位、RISC-V軟件應用與工具委員會主席單位,RISC-V AI/ML專委會主席單位和RISC-V Matrix TG核心成員單位。

同時希姆計算在國內積極推進RISC-V的廣泛應用,先后當選中標協RISC-V工作委員會副會長單位、中國智能計算產業聯盟副秘書長單位,以及全國信息技術標準化技術委員會-人工智能分技術委員會單位委員和多樣性算力產業及標準推進委員會成員單位。

0111dc2c-932e-11ef-8084-92fbcf53809c.png

基于一體化指令集架構,希姆計算實現了NeuralScale NPC核心架構,并推出了STCP920芯片和推理卡。STCP920推理卡是面向云端AI推理計算的板卡級產品,具有高能效、低延時等優勢,可廣泛應用于需要AI推理加速的場景中。

011860ec-932e-11ef-8084-92fbcf53809c.jpg

011d17ea-932e-11ef-8084-92fbcf53809c.jpg

此外,希姆計算針為STCP920研發了完整的軟件工具鏈,充分發掘指令集的優勢及硬件的潛力,覆蓋了深度學習模型的開發、部署、運維全流程,有力的支撐了上層業務。

針對常見的深度學習模型,希姆計算提供了MLTC編譯器套件,通過先進的多層IR設計搭配先進的自動優化技術,不僅能夠兼容不同格式的深度學習框架,同時可以使得這些模型在希姆計算的硬件上達到最佳性能水平。

而針對大模型,希姆計算亦開發了專用的推理加速框架 STC_LLM,根據大模型的特點,在Kernel層、調度層引入了多種大模型專用的優化技術,大大提升了大模型的推理表現,最高可以提升300%的性能。

012bd9ec-932e-11ef-8084-92fbcf53809c.png

智算中心,高效釋放算力價值

AI加速卡的理論算力往往是大家最關心的一項指標,也是各大廠商發布產品時宣傳的重點,但是理論算力并非客戶最終能用到的算力。對于大模型的大規模算力需求,往往通過智算集群來滿足,絕不是卡的簡單堆砌,更加強調軟硬協同的系統、全棧解決方案中各層級的優化功力以及最終的算力服務質量。

0135fc2e-932e-11ef-8084-92fbcf53809c.png

希姆計算始終以商業落地為導向,無論是硬件產品還是軟件產品,設計之初就朝著端到端全棧解決方案的方向齊頭并進。研發副總裁王得科表示:"打造全棧解決方案是一個漫長而復雜的過程,要求我們從算力即服務的角度出發,為各個產品和功能設計合理的邊界。”

希姆計算以算力即服務為交付理念,通過成熟的軟件生態,簡化模型部署的鏈路,降低客戶開發AI應用的復雜度,對信創/非信創的軟硬件生態均有良好的適配和支持,幫助客戶打通從模型開發到部署的最后一公里,方便一鍵式發布、部署模型服務。

01681786-932e-11ef-8084-92fbcf53809c.png

希姆智算云平臺是希姆計算面向智算中心研發的專業算力平臺,旨在有機調動智算集群中的計算、網絡、存儲資源,形成云上隨用隨取的AI算力,應對當前AI算力中心建設中標準不一、技術深度不足、交付周期冗長等一系列挑戰。

智算云平臺的設計采用了云原生的理念,通過容器化部署、微服務架構、分布式存儲和計算資源的動態調度等技術,可以支持超大規模集群的部署,最高支持萬卡規模的集群,典型場景下可以做到秒級切換,深度學習負載可以達到90%以上的利用率,充分發揮硬件能力。

希姆計算充分考慮了國內外的模型生態和落地場景,建設了高度適配自研硬件的模型倉庫STC-ModelZoo,為客戶提供開箱即用的各類SOTA模型,包含了傳統的計算機視覺CV、自然語言處理NLP、搜索推薦、語音、多模態等模型200余個,以及當前熱門的各種開源大語言模型,LLaMA、Qwen、Baichuan、ChatGLM、InternLM、Mixtral、MOSS-Moon、Phi、XVERSE、Yi等系列30余個,參數規格從幾B到幾十B不等。

017171b4-932e-11ef-8084-92fbcf53809c.jpg

0176af4e-932e-11ef-8084-92fbcf53809c.jpg

針對私有模型,希姆計算提供了轉換工具(STC-TOOLKIT),幫助客戶方便地遷移至希姆計算生態,快速部署私有模型,大大降低遷移成本。

目前,希姆計算已經在全國各地成功落地了多個智算中心項目,有力支撐了各種 AI 應用,包括AIGC、問答助手、內容創作、缺陷檢測、安全施工、煙火報警、交通研判、醫療診斷、內容審核、語音識別等,全面覆蓋了互聯網、智慧辦公、智慧城市、智慧工業、智慧金融、智慧醫療等熱門領域。

希姆計算, AIGC時代軟硬一體解決方案的領導者

從ChatGPT的橫空出世,到國內外廠商紛紛入局大模型“百模大戰”,再到智算中心的火熱建設,現如今才過去了不到兩年的時間。AIGC技術已經在顛覆生產內容的方式,迅速在眾多領域重塑著生產力關系。行業的發展日新月異,對優質產品的需求日趨精細,更要求企業持續加強自身核心競爭力,審視自身能夠為客戶提供的價值。

在RISC-V+AI這條賽道上,希姆計算從自研關鍵的AI計算矩陣擴展指令集切入,通過先進的核心架構和推理加速產品,以及完整的軟件工具鏈,為自主可控地提供算力服務夯實了軟硬件基礎,并且明確自身做為算力技術提供者、推進行業智能化轉型的定位,基于自身算力平臺率先打造出了成熟的垂直大模型、智能體、數據治理產品。

這些產品的成功體現了希姆計算從硬科技創新到場景化落地的綜合實力,在RISC-V創新方案上搶先了一個身位,也是希姆計算賴以發展壯大的基因。

未來,行業對算力的需求沒有止境,不斷創新和突破瓶頸是企業和行業永遠的使命。對希姆計算來說,當前的全棧解決方案只是階段性的成果。創新,永遠在路上,點滴積累才能匯聚成創新的土壤。未來無論是打磨既有方案落地更多場景,還是將沉淀的經驗融入開發中的下一代芯片,以及推進AI方向的國際技術標準制定和生態合作,希姆計算都將為行業的發展注入新的可能。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • RISC-V
    +關注

    關注

    44

    文章

    2228

    瀏覽量

    46023
  • 算力
    +關注

    關注

    1

    文章

    925

    瀏覽量

    14738
  • 大模型
    +關注

    關注

    2

    文章

    2322

    瀏覽量

    2479
收藏 人收藏

    評論

    相關推薦

    RISC-V與ARM在相同頻率下的相同嗎?

    目前來講RISC-V的頻率一般來講會更高一些,STM32G030C8T6和CH32V203相比,CH32V203C8T6具有更高的頻率和更低廉的價格,在很多應用場景都可以互換,但是真的很好奇會不會在運行中反而STM32G030的
    發表于 11-23 11:05

    希姆計算與開芯院簽署生態合作伙伴協議,共同打造高性能RISC-V AI大芯片

    姆下一代RISC-V芯片中。這一合作旨在共同打造國內最權威、高性能的RISC-VAI芯片
    的頭像 發表于 10-19 08:11 ?468次閱讀
    希姆計算與開芯院簽署<b class='flag-5'>生態</b>合作伙伴協議,共同打造高性能<b class='flag-5'>RISC-V</b> AI大<b class='flag-5'>算</b><b class='flag-5'>力</b>芯片

    2024 RISC-V 中國峰會:華秋電子助力RISC-V生態

    掌握RISC-V芯片的應用與開發,電子發燒友作為緊密合作伙伴,依托650萬+開發者用戶,全力構建包含RISC-V開發者社區、RISC-V技術商業生態圈及
    發表于 08-26 16:46

    模型時代的需求

    現在AI已進入大模型時代,各企業都爭相部署大模型,但如何保證大模型,以及相關的穩定性和性能,是一個極為重要的問題,帶著這個極為重要的問
    發表于 08-20 09:04

    中科曙光入選2024服務產業圖譜及服務產品名錄

    近日,中國信通院公布首個服務產業圖譜(2024年)》及《
    的頭像 發表于 08-06 14:23 ?609次閱讀

    rIsc-v的缺的是什么?

    和可定制性,不同的廠商或開發者可能會根據自己的需求對RISC-V進行不同的定制和優化。這可能會導致硬件生態系統中出現碎片化問題,某些RISC-V軟件無法在所有
    發表于 07-29 17:18

    RISC-V在中國的發展機遇有哪些場景?

    的理想選擇。 生態系統建設:多家頭部芯片公司和生態廠商正在積極推進RISC-V在車規級產品的布局,這將有助于RISC-V在汽車領域的快速發展。 4. 數據中心和高性能計算(HPC) 性
    發表于 07-29 17:14

    從多核到眾核, 賽昉科技RISC-V+NoC IP子系統芯片賦能

    ,芯師爺攜手慕尼黑上海電子展,在上海舉辦“2024技術創新發展生態大會”。在本次盛會中,RISC-V備受矚目,與會嘉賓普遍認為,RISC-V
    的頭像 發表于 07-13 08:20 ?537次閱讀
    從多核到眾核, 賽昉科技<b class='flag-5'>RISC-V</b>+NoC IP子<b class='flag-5'>系統</b>為<b class='flag-5'>算</b><b class='flag-5'>力</b>芯片賦能

    科華數據攜手希姆計算,推動國產RISC-V開源AI快速發展

    的AI服務,滿足各行各業對AI和AI解決方案的需求。同時,基于希姆計算的開源RISC-V
    的頭像 發表于 06-30 08:36 ?463次閱讀
    科華數據攜手希姆計算,推動國產<b class='flag-5'>RISC-V</b>開源AI<b class='flag-5'>算</b><b class='flag-5'>力</b>快速發展

    淺析RISC-V領先ARM的優勢

    和靈活性使其適用于各種應用場景,包括嵌入式系統、移動設備、服務器、高性能計算等領域。隨著RISC-V生態系統的不斷發展壯大,RISC-V將在
    發表于 06-27 08:45

    科華數據攜手希姆計算,推動國產RISC-V開源AI快速發展

    的AI服務,滿足各行各業對AI和AI解決方案的需求。同時,基于希姆計算的開源RISC-V
    的頭像 發表于 06-26 08:36 ?501次閱讀
    科華數據攜手希姆計算,推動國產<b class='flag-5'>RISC-V</b>開源AI<b class='flag-5'>算</b><b class='flag-5'>力</b>快速發展

    RISC-V的MCU與ARM對比

    或許可費。這確保了ARM的穩定性和可靠性,以及高質量的技術支持和生態系統。 指令集與實現 RISC-VRISC-V是一種模塊化的架構,由一個基本指令集和多個可選指令集擴展組成。這允許RIS
    發表于 05-27 15:58

    RISC-V有哪些優點和缺點

    新的、尚未被廣泛驗證的技術。 需要注意的是,隨著RISC-V技術的不斷發展和生態系統的逐步完善,其缺點可能會逐漸被克服。同時,RISC-V的優點也使其在多個領域具有廣闊的應用前景,包括服務
    發表于 04-28 09:03

    RISC-V有哪些優缺點?是堅持ARM方向還是投入risc-V的懷抱?

    的架構,而不是嘗試新的、尚未被廣泛驗證的技術。 需要注意的是,隨著RISC-V技術的不斷發展和生態系統的逐步完善,其缺點可能會逐漸被克服。同時,RISC-V的優點也使其在多個領域具有廣闊的應用前景,包括
    發表于 04-28 08:51

    求解“致用”難題,中國行業給出首個答案

    首個“高質量”的明確定義,會給行業帶來哪些變化?
    的頭像 發表于 01-05 09:30 ?1068次閱讀
    求解<b class='flag-5'>算</b><b class='flag-5'>力</b>“致用”難題,中國<b class='flag-5'>算</b>力<b class='flag-5'>行業</b>給出<b class='flag-5'>首個</b>答案