5月11日，鯤鵬昇騰開發(fā)者大會(huì)2024期間，華為舉辦“昇思AI框架及大模型技術(shù)論壇”，軟通動(dòng)力數(shù)字基礎(chǔ)設(shè)施與集成事業(yè)部總經(jīng)理謝睿受邀出席、軟通動(dòng)力數(shù)字基礎(chǔ)設(shè)施與集成事業(yè)部技術(shù)總監(jiān)單繼嶺發(fā)表《基于昇思Mind Spore，軟通動(dòng)力賦能客戶應(yīng)用與實(shí)踐》主題分享，全方位展示基于AI框架技術(shù)的原生應(yīng)用及客戶實(shí)踐。

會(huì)上，單繼嶺介紹了軟通動(dòng)力在人工智能領(lǐng)域的技術(shù)能力，以及結(jié)合華為MindSpore框架為客戶帶來創(chuàng)新的應(yīng)用場景等內(nèi)容。基于軟通AI訓(xùn)推一體化平臺，輸出標(biāo)準(zhǔn)模型遷移流程，從而幫助企業(yè)實(shí)現(xiàn)大模型的“最后一公里”，推動(dòng)各行業(yè)領(lǐng)域數(shù)字化轉(zhuǎn)型。

軟通AI訓(xùn)推一體化平臺

軟通AI訓(xùn)推一體化平臺支持大規(guī)模集群計(jì)算環(huán)境下NPU/GPU異構(gòu)計(jì)算資源按需、高效、自動(dòng)調(diào)度，可為客戶提供數(shù)據(jù)中心、開發(fā)中心、訓(xùn)練中心、模型中心、服務(wù)中心等一站式服務(wù)能力。平臺基于MindSpore等多種計(jì)算框架和算法，內(nèi)置大語言、圖文、多模態(tài)大模型，疊加行業(yè)應(yīng)用，能夠加速大模型落地賦能業(yè)務(wù)，幫助企業(yè)和客戶完成國產(chǎn)化、數(shù)字化、智能化的轉(zhuǎn)型升級。目前，軟通AI訓(xùn)推一體化平臺已覆蓋央國企、金融、教育等行業(yè)，打造多個(gè)Offering服務(wù)不同客戶，助力用戶快速實(shí)現(xiàn)大模型場景訓(xùn)練/推理“最后一公里”。

在央國企領(lǐng)域，基于司庫應(yīng)用，打造司庫一體化產(chǎn)品，實(shí)現(xiàn)業(yè)財(cái)深度融合，在客戶實(shí)際落地過程中，幫助客戶對現(xiàn)有業(yè)務(wù)系統(tǒng)、管理模式改造升級，解決業(yè)務(wù)人工成本高、效率低等問題，幫助客戶構(gòu)筑數(shù)字化生產(chǎn)力堡壘，在集團(tuán)建設(shè)可復(fù)用的業(yè)務(wù)及數(shù)據(jù)能力。

在教育領(lǐng)域，軟通AI訓(xùn)推一體化平臺基于AI硬件底座及通用大模型本地私有化部署，打造數(shù)字經(jīng)濟(jì)AI分析模型助手，實(shí)現(xiàn)自動(dòng)批量提取經(jīng)濟(jì)新聞、熱點(diǎn)、事件等關(guān)鍵信息并導(dǎo)出提取結(jié)果，可快速構(gòu)建系統(tǒng)化數(shù)據(jù)庫，并通過模擬人工操作以實(shí)現(xiàn)流程自動(dòng)化，顯著提升科研效率。

基于MindSpore模型遷移全流程

1

模型權(quán)重轉(zhuǎn)換：模型分析與準(zhǔn)備、權(quán)重轉(zhuǎn)換

2

模型遷移：網(wǎng)絡(luò)遷移開發(fā)、精度和性能調(diào)試

3

推理和訓(xùn)練代碼遷移：單卡/多卡在線推理+精度驗(yàn)證、單卡/多卡finetune/peft +精度驗(yàn)證、單卡/多卡預(yù)訓(xùn)練 +精度驗(yàn)證等

4

模型精度對齊和模型測評：網(wǎng)絡(luò)結(jié)構(gòu)對比、網(wǎng)絡(luò)正向結(jié)果對比、網(wǎng)絡(luò)loss結(jié)果對比、基于開源數(shù)據(jù)集模型評測分?jǐn)?shù)對比等。

未來，軟通動(dòng)力將攜手華為，依托MindSpore框架，為客戶打造更加優(yōu)質(zhì)的人工智能解決方案，不斷提升在AI技術(shù)領(lǐng)域的服務(wù)能力，共同促進(jìn)AI技術(shù)的進(jìn)步和廣泛應(yīng)用。

審核編輯：劉清