首屆開放原子開源大賽系列成果

“Intel借助開源大賽在全國的影響力，吸引更多開發者加入大語言模型及其在人工智能領域的創新應用。”負責BigDL-LLM賽題運營的Intel工作人員表示。

2023年，大語言模型（LLM）及應用成為全球焦點，參數量激增至萬億級。隨著模型參數數量的不斷增加，推理時間變得越來越長，運行大模型所需的資源消耗也越來越多，導致其運行緩慢，這為AI應用開發者帶來了極大的挑戰。

為此，Intel開發并開源了BigDL-LLM，可借助Intel平臺優勢，助力AI開發者和研究者加速優化大語言模型，提升大語言模型的使用體驗。

為了使BigDL-LLM服務更多開發者，并為大型語言模型的開源應用提供更多實際應用場景，Intel與開放原子開源基金會合作，通過舉辦開源大賽，激勵開發者創新。2023年11月，“BigDL-LLM輕量級大語言模型應用開發創新賽”在開放原子開源大賽平臺正式上線，致力于進一步推動大語言模型技術的發展和應用。

開源大賽

加速優化大語言模型

開放原子開源大賽——BigDL-LLM輕量級大語言模型應用開發創新賽，以30萬獎金和Intel實習機會為激勵，匯聚了全國120所高校與企業單位的163支團隊，經過嚴格篩選，來自微軟公司、華東師范大學、上海交通大學、北京航空航天大學、復旦大學、同濟大學、浙江靜好控股集團等單位的十強團隊脫穎而出，進入決賽。

本次大賽要求參賽選手通過在Intel本地PC（無需獨立顯卡）或云端，開發基于大語言模型的創新應用，如智能語音助手、智能助理、聊天機器人、智能客服等。參賽作品應以可執行代碼和文檔為主，并可選包括演示、PPT、演示視頻等形式。

在決賽上，上海交通大學的SJTUNavSailor團隊使用BigDL-LLM量化后的int4模型，不僅內存占用大幅下降，對話響應時間也從原本超過5分鐘（仍未響應）降至8秒；華東師范大學的VidBot團隊則用BigDL-LLM將Whipser語音模型放在XPU加速推理后，轉錄時間提速了一倍；

“在使用BigDL-LLM模型加速后，效果顯著，尤其是在Intel CPU平臺上可以實現很大程度的加速效果，提升大模型在個人電腦運行的性能，降低AI PC的使用門檻?！蓖瑵髮W、浙江靜好控股集團等入圍選手在路演現場接受采訪時表示。

最終，獲獎團隊通過應用大語言模型技術，為教育、招聘和美容等行業提供了創新的技術解決方案，展現了高效、穩定和可靠的深度學習應用潛力。

開源大賽

助力輕量級大語言模型應用落地

在決賽的路演中，經過9位資深評委專家的細致評選，浙江靜好控股集團的“美業AI大腦”團隊脫穎而出，榮獲一等獎。華東師范大學的OpenEduECNU和Vidbot團隊也展現了卓越實力，共同榮獲二等獎。

“美業AI大腦”團隊負責人賽后總結時表示：“我們非常幸運能夠參加開放原子開源大賽，此次獲獎不僅將AI工具落地應用在美業領域，更是對美業產業未來轉型升級的一種推動?！?/p>

據路演團隊的介紹，“美業AI大腦”旨在全面覆蓋美業的應用場景，打造一個全面、智能、互動的學習平臺。該平臺將為美業人員提供便捷、高效、有趣的學習體驗，無論是解答日常疑問、查詢專業知識、即時生成話術等，都能提供專業的解決方案。

華東師范大學OpenEduECNU團隊的代表張豈明在接受采訪時表示：“非常感謝開放原子開源大賽為我們提供了展示作品的平臺。我們的方案利用BigDL-LLM輕量級大語言模型，結合華東師范大學的海量教育數據資源，開發出了集課程問答、試題生成和課件定制（教學大綱、教學PPT）等個性化功能于一體的教育工具，旨在幫助教育工作者提高教研效率，推動教學個性化發展，促進教育公平。”

為了深入挖掘如何運用BigDL-LLM輕量級大語言模型實現應用開發的實際應用，我們特別邀請了本次比賽的獲獎團隊代表，分享他們的開發流程和參賽經驗！

來自華東師范大學的數據科學與工程學院碩士研究生張豈明，將直播分享《開放原子開源大賽獲獎選手經驗分享——Open Edu ECNU個性化課程智能助教》，回顧參賽心得與經驗分享。