精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

浪潮信息發布“源”Yuan-EB助力RAG檢索精度新高

浪潮AIHPC ? 來源:浪潮AIHPC ? 2024-11-26 13:54 ? 次閱讀

近日,浪潮信息發布 “源”Yuan-EB(Yuan-embedding-1.0,嵌入模型),在C-MTEB榜單中斬獲檢索任務第一名,以78.41的平均精度刷新大模型RAG檢索最高成績,將基于元腦企智EPAI為構建企業知識庫提供更高效、精準的知識向量化能力支撐,助力用戶使用領先的RAG技術加速企業知識資產的價值釋放。

2a0c093e-a659-11ef-93f3-92fbcf53809c.png

“源”Yuan-EB 在HuggingFace的C-MTEB榜單中排名第一

Yuan-EB(版本號Yuan-embedding-1.0) 是專為增強中文文本檢索能力而設計的嵌入模型(也稱Embedding模型),在 “源2.0” 大模型的工作基礎上,創新性地采用了“源2.0-M32”大模型進行數據重寫與合成,并通過索引技術、樣本排序等系列方法完成高質量微調數據集構建,能夠有效提升RAG系統的檢索精度。

C-MTEB是目前業內最權威的嵌入模型測試榜單。其中,檢索任務(Retrieval)是檢索增強生成(RAG)場景下最為重要、應用最廣泛的任務能力,考察的是Embedding模型從大量的數據集中找到并返回與給定查詢最相關或最匹配的信息的過程。“源”Yuan-EB基于該任務提供的醫療、新聞、電商、娛樂等8個中文文本數據集,實現了業界領先的海量文本檢索精度。

2a18dba0-a659-11ef-93f3-92fbcf53809c.png

C-MTEB榜單Retrieval任務提供8個測試數據集

“源” Yuan-EB 助力RAG檢索精度新高

嵌入模型在RAG流程中扮演著關鍵角色,它能夠將復雜的高維數據(例如文本、圖像或音頻)轉換為機器可理解的向量形式,直接決定了RAG檢索的精準性和效率。

2a3da4ee-a659-11ef-93f3-92fbcf53809c.png

“源”Yuan-EB通過數據準備與模型微調兩個方面的技術創新,實現了模型精度的大幅提升:

■ 在數據方面,基于“源2.0”微調階段的問答數據進行清洗與篩選,構建問題(query)與文本(corpus)數據集;使用“源2.0-M32”對C-MTEB 訓練數據進行重寫與合成,通過索引技術與排序模型進行高效的難負樣本提取,完成大規模難負例樣本挖掘,形成高質量微調數據集;

■ 在微調方面,通過兩個階段的領先微調方法實現模型能力提升。第一階段,使用各個領域(醫療、新聞、長文本、娛樂等方向)的大規模數據進行對比學習訓練;第二階段,采用“源2.0-M32”生成的合成數據進一步微調,并使用MRL方法完成“源”Yuan-EB訓練;

“源”Yuan-EB為用戶提供了大模型企業知識庫應用開發的最優模型選擇,能夠在 RAG流程的多個方面起到顯著的精度提升,包括信息檢索的準確性、處理大規模數據的效率、消除語義歧義、降低計算成本、增強對長文檔的處理能力以及模型魯棒性等,最大化提升RAG流程的整體性能和應用效果。

元腦企智EPAI集成“源”Yuan-EB,加速知識庫構建與性能提升

目前,“源”Yuan-EB已經在開源社區和企業大模型開發平臺元腦企智EPAI中全面開放下載。用戶可以在元腦企智EPAI平臺中快速使用“源”Yuan-EB,并結合EPAI自研的多階段RAG技術,零代碼、低成本地基于企業數據構建大模型知識庫應用。

企業大模型開發平臺“元腦企智”EPAI(Enterprise Platform of AI),是浪潮信息為企業AI大模型落地應用打造的高效、易用、安全的端到端開發平臺,提供數據準備、模型訓練、知識檢索、應用框架等系列工具,支持調度多元算力和多模算法,幫助企業高效開發部署生成式AI應用、打造智能生產力。

元腦企智EPAI已經支持超過13種類型文檔的信息識別與提取,結合創新的多級混合檢索策略,有效提升元腦企智EPAI在管理、解析、檢索知識庫與生成內容方面的最終效果,幫助企業用戶實現基于私有數據、行業數據下的精準檢索、精準問答,確保專業場景下大模型生成內容的準確性和可靠性,加速大模型創新力釋放。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 浪潮
    +關注

    關注

    1

    文章

    454

    瀏覽量

    23820
  • 開源
    +關注

    關注

    3

    文章

    3254

    瀏覽量

    42408
  • 大模型
    +關注

    關注

    2

    文章

    2333

    瀏覽量

    2489

原文標題:浪潮信息發布“源”Yuan-EB,刷新大模型RAG檢索精度紀錄!

文章出處:【微信號:浪潮AIHPC,微信公眾號:浪潮AIHPC】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    浪潮信息源2.0大模型與百度PaddleNLP全面適配

    近日,浪潮信息宣布其開源大模型2.0已全面適配百度PaddleNLP。這一舉措標志著大模型開發生態正加速進化,為用戶提供了更加便捷、高效的大模型應用體驗。
    的頭像 發表于 10-17 18:15 ?469次閱讀

    浪潮信息:元腦企智EPAI助力金融大模型快速落地

    浪潮信息在AI算力底座建設、大模型開發領域積累的成熟、成功經驗工具化,助力金融機構又快、又穩地部署生成式AI應用,助力金融數智化跨越式發展。
    的頭像 發表于 09-20 16:07 ?309次閱讀
    <b class='flag-5'>浪潮信息</b>:元腦企智EPAI<b class='flag-5'>助力</b>金融大模型快速落地

    浪潮信息推出AIGC存儲解決方案

    近日,在科技創新的浪潮中,浪潮信息成功舉辦了“元腦中國行”全國巡展的杭州站活動,此次盛會不僅匯聚了業界的精英與目光,更見證了浪潮信息在AIGC(人工智能生成內容)領域的一次重大突破。會上,浪潮
    的頭像 發表于 07-03 11:16 ?680次閱讀

    浪潮信息重磅發布2.0-M32”開源大模型

    浪潮信息近日發布了一款全新的開源大模型——“2.0-M32”。這款大模型在“2.0”系列大模型的基礎上,進行了深度的技術創新與升級。
    的頭像 發表于 06-05 14:50 ?736次閱讀

    浪潮信息與北京伙伴共筑AI新生態

    近日,2024浪潮信息區域ISP伙伴戰略簽約儀式在京圓滿落幕。此次盛會,浪潮信息與航天星橋、中天瑞合、圣世博泰、浩然泰同、浩普誠華、眾創佳業等20家北京元腦生態伙伴共襄盛舉,簽署了戰略合作協議。
    的頭像 發表于 05-31 11:33 ?725次閱讀

    浪潮信息發布2.0-M32開源大模型,模算效率大幅提升

    5月28日,浪潮信息發布2.0-M32”開源大模型。“2.0-M32”在基于”2.0”系列大模型已有工作基礎上,創新性地提出和采用了
    的頭像 發表于 05-29 09:34 ?387次閱讀
    <b class='flag-5'>浪潮信息</b><b class='flag-5'>發布</b><b class='flag-5'>源</b>2.0-M32開源大模型,模算效率大幅提升

    浪潮信息發布2.0-M32”開源大模型

    浪潮信息近日推出了革命性的“2.0-M32”開源大模型。該模型在2.0系列基礎上,引入了“基于注意力機制的門控網絡”技術,構建了一個包含32個專家的混合專家模型(MoE),有效提升了模型算力效率。
    的頭像 發表于 05-29 09:08 ?602次閱讀

    浪潮信息發布AS13000G7-N系列分布式全閃存儲

    浪潮信息近日推出了專為大型AI模型優化的AS13000G7-N系列分布式全閃存儲。該系列基于浪潮信息自研的分布式文件系統,結合新一代數據加速引擎DataTurbo,為用戶提供卓越的存儲解決方案。
    的頭像 發表于 05-14 10:03 ?523次閱讀

    【中心動態】 走進浪潮信息

    5月8日,RISC-V國際人才培養認證中心主任蔣學剛一行,到訪浪潮電子信息產業股份有限公司(以下簡稱“浪潮信息”),受到深圳區域副總經理段青云、產品經理陶耀民的熱情接待。浪潮信息是全球
    的頭像 發表于 05-13 17:42 ?427次閱讀
    【中心動態】 走進<b class='flag-5'>浪潮信息</b>

    浪潮信息發布為大模型專門優化的分布式全閃存儲AS13000G7-N系列

    近日,浪潮信息發布為大模型專門優化的分布式全閃存儲AS13000G7-N系列。該系列依托浪潮信息自研分布式文件系統,搭載新一代數據加速引擎DataTurbo,
    的頭像 發表于 05-08 09:38 ?512次閱讀
    <b class='flag-5'>浪潮信息</b><b class='flag-5'>發布</b>為大模型專門優化的分布式全閃存儲AS13000G7-N系列

    浪潮信息發布企業大模型開發平臺“元腦企智”EPAI

    4月17日,在2024浪潮信息生態伙伴大會(IPF2024)上,浪潮信息重磅發布企業大模型開發平臺“元腦企智”EPAI(Enterprise Platform of AI),為企業AI大模型落地
    的頭像 發表于 04-18 10:12 ?363次閱讀
    <b class='flag-5'>浪潮信息</b><b class='flag-5'>發布</b>企業大模型開發平臺“元腦企智”EPAI

    浪潮信息與英特爾合作推出一種大模型效率工具“YuanChat”

    3月26日,浪潮信息與英特爾正式宣布,浪潮信息2.0系列基礎大模型”已和最新的英特爾? 酷睿? Ultra處理器平臺完成適配,本地推理速度提升100%。
    的頭像 發表于 03-27 13:50 ?588次閱讀
    <b class='flag-5'>浪潮信息</b>與英特爾合作推出一種大模型效率工具“YuanChat”

    智邦國際與KeyarchOS完成浪潮信息澎湃技術認證

    北京2024年1月24日?/美通社/ -- 日前,北京智邦國際軟件技術有限公司(簡稱智邦國際)與KeyarchOS完成浪潮信息澎湃技術認證,經雙方測試,智邦國際墨工湖智能制造MOM平臺與浪潮信息
    的頭像 發表于 01-25 13:51 ?421次閱讀
    智邦國際與KeyarchOS完成<b class='flag-5'>浪潮信息</b>澎湃技術認證

    儀電云云操作系統獲得浪潮信息澎湃技術認證

    浪潮信息希望通過此種方式與生態合作伙伴緊密互動,降低客戶TCO (總體擁有成本)、縮減投產時間并促使產品和方案不斷進步,進而助力各行業依托浪潮信息的存儲平臺實施數字化、智能化轉型。
    的頭像 發表于 12-27 15:35 ?734次閱讀

    浪潮信息發布2.0基礎大模型,千億參數全面開源

    11月27日,浪潮信息發布"2.0"基礎大模型,并宣布全面開源。2.0基礎大模型包括1026億、518億、21億等三種參數規模的模型,在編程、推理、邏輯等方面展示出了先進的能力。
    的頭像 發表于 11-28 09:10 ?792次閱讀
    <b class='flag-5'>浪潮信息</b><b class='flag-5'>發布</b><b class='flag-5'>源</b>2.0基礎大模型,千億參數全面開源