1. 騰訊云宣布全面支持Llama2等主流開源模型
原文:https://t.cj.sina.com.cn/articles/view/1654203637/629924f5020010xw1?from=tech
騰訊云方面16日宣布,騰訊云TI平臺已經全面接入Llama 2、Falcon、Dolly、Vicuna、Bloom、Alpaca等20多個主流模型,這些主流模型支持直接部署調用、應用流程簡單、可全程低代碼操作。企業、開發者可以根據不同細分場景的業務需求,靈活選擇各類大模型,降低大模型使用成本。
據騰訊云公眾號透露,騰訊云是國內第一批上架和支持開源模型的大模型廠商,騰訊云持續推動MaaS(Model-as-a-Service)建設,讓大模型更懂行業、更易落地。
在具體執行方面,騰訊云發布了行業大模型解決方案,依托騰訊云TI平臺打造行業大模型精選商店,提供涵蓋模型預訓練、模型精調、智能應用開發等一站式行業大模型服務,已為10大行業提供了超50個大模型解決方案。騰訊云還推動大模型時代底層基礎設施建設,發力算力、網絡、數據“鐵三角”,為客戶提供HCC高性能計算集群、星脈高性能計算網絡以及向量數據庫等基礎設施服務,加速大模型落地。與此同時,騰訊云積極參與、推動行業大模型標準建設。早在2020年,騰訊就被選舉為全國信標委人工智能分委會委員兼副秘書長。前不久,騰訊云聯合信通院牽頭開展國內首個金融行業大模型標準,助力金融行業智能化的高質量規范化發展。
2. 稚暉君人形機器人問世:大模型加持,會自己換胳膊,要上生產線造車
原文:https://mp.weixin.qq.com/s/cgfbJgl9enzGXGTb6q6FGA大模型技術的新一波浪潮:具身智能,已經有了重要進展。剛剛,稚暉君的創業公司「智元機器人」開了自己的第一場發布會。
以「天才少年」身份加入華為的稚暉君(彭志輝)于去年底宣布離職創業,人們都在關注他在機器人與大模型方向探索的新實踐。今天在上海,他成立的智元機器人終于發布了首款產品「遠征 A1」。在現場,機器人走上了講臺,這是稚暉君創業以來交出的第一份答卷。
遠征 A1 不僅長得像人,也有著近似人類的一系列數據:它身高 175cm,重 53kg,最高步速達到 7km/h,全身有 49 個自由度,可以承重 80kg,單臂最大負載 5kg。這款機器人在雙足行走、智能任務、人機互動等領域展現了業界領先的能力。
稚暉君表示:「遠征 A1 是我們的第一臺通用型智具身智能機器人,它融合了各種先進的本體控制、感知、認知和決策的智能技術,基于當前 AI 領域前沿的大語言模型,以及我們自研的視覺控制模型,完成了一系列創新?!?/span>此前,很多機器人產品大多具備 20 余個自由度。據介紹,遠征 A1 的 49 個自由度是考慮到實際應用場景,如汽車生產過程中整理線束、擰螺絲、總裝等任務來確定的。它雖然是個人形機器人,但從一開始就面向工業制造:
未來也可以成為人們日常生活的助手:
「遠征 A1」是模塊化的,可以面向不同任務,自己給自己換組件:
稚暉君表示,把機器人做得像人,是因為現在的世界一直是為人形態而設計的,人形機器人可以在大量工作中直接應用現有工具、任務和場景,同時更具有親和力。但想讓機器人模仿人類,需要在機械設計、運動和感知等方面解決很多挑戰。
自研電機,模塊化設計
用兩條腿來走路,又能夠擁有生產力,這意味著硬件設計要有強大的能力。智元機器人構建了一套自研的硬件系統,包括關節電機、靈巧手等。如果從零部件算,整個機器人的國產化率在 80% 以上。自研核心關節電機 PowerFlow
如果想讓人形機器人行動靈敏、準確,它的關節需要滿足很多條件,比如體積小、重量輕、功率密度高、能量利用效率高、響應帶寬高、耐沖擊等等。其中,核心關節不僅是讓人形機器人更加靈活、更加自由的關鍵,也是未來實現規模量產、低成本制造的重要門檻之一,稚暉君在現場解釋說。為了實現這些目標,智元團隊自研、設計了一款專用關節 ——PowerFlow。這個關節采用了準直驅的方案,它的優點是功率高、不需要傳感器(可以用電機電流判斷力矩),通過電流直接做力矩控制,價格低。為了增加功率密度,遠征 A1 的關節模組還集成了液冷循環散熱系統。搭配上自研的一體化矢量驅動控制器,整個關節的峰值扭矩可以達到 350Nm。不過,稚暉君表示,他們還沒有測到扭矩的真正上限,估計潛力比想象中高。而且,由于水冷散熱的加持,它可以保持更長時間的峰值扭距輸出,而重量僅為 1.6 公斤。這個關節還有個非常有意思的設計,它讓機器人的膝關節向后彎曲,而不是和人一樣向前。稚暉君解釋說,這是為了讓機器人干活更加方便,畢竟再好的人造關節也不可能讓機器人像人一樣那么靈活,反屈膝關節的設計可以讓它擁有更大的操作空間。
自研靈巧手 SkillHand
要想讓機器人更好地干活,手是另外一個關鍵部件,因此智元研發了靈巧手 SkillHand。這個靈巧手有 12 個主動自由度、5 個被動自由度,而且所有驅動都是內置的。考慮到這個靈巧手未來將面對精密制造場景,智元在它的指尖安裝了一些傳感器。其中,視覺傳感器可以分辨操作物的顏色、材質。基于各種算法的數據融合,指尖還可以做到近似的觸覺壓力傳感器效果。由于這些傳感器可以幫助機器人實現末端的視覺閉環,整機的電機精度需求得以降低。有意思的是,如果場景需要,這個機器人其實可以自主更換靈巧手,比如把手換成螺絲刀。稚暉君說,這是模塊化設計思想在他們機器人中的體現。類似的模塊化設計還可以讓機器人由腿式變成輪式,「這是它通用性的一個體現」。
全套 AI 框架
如何讓通用機器人實現低成本量產,產生實際應用價值?稚暉君表示,硬件只是前提條件之一,更重要的其實是背后的機器人大腦。在當前的具身智能領域,很多研究都在嘗試將大模型作為機器人的大腦,稚暉君也不例外,他也想用多模態大模型的能力賦能智元機器人的行為動作編排。在智元機器人上個月發布的一個視頻中,我們已經看到了這個想法的初步實現,比如給出自然語言指令「把離你最近的木塊放到紫色的方塊右邊 3 厘米」,機器人就會按照指示行動。稚暉君把這個機器人背后的大模型叫做 WorkGPT,這是一個百億級參數的大模型。在稚暉君看來,語言和圖像大模型對于機器人領域應用最大的價值在于兩個方面,一是龐大的先驗知識庫和強大的通識理解能力,比如你不用告訴它什么是垃圾,它就能自己分辨出來;二是復雜的語義多級推理能力,即所謂的「思維鏈」,這體現在它可以把復雜的指令分成一個一個的步驟。「在大模型時代到來之前,機器人都是專用設備,我們需要針對性地對每一個任務進行調試和部署?,F在利用大模型的各種通識能力和舉一反三的推理能力,我們可以看到解決這些問題,然后最終走向通用機器人的一道曙光。」稚暉君說。所以,在智元,他們打造了一個名為 EI-Brain 的具身智腦框架。在框架中,機器人系統被分為不同層級,包括部署在云端的超腦,部署在端側的大腦、小腦以及腦干,分別對應機器人任務不同級別的技能,包括技能級、指令級、伺服級等。具體來說,「大腦」負責跟我們人類一樣進行抽象思考、多級推理,「小腦」負責運動控制方面的一些指令生成,「腦干」負責電機控制、伺服等硬件底層任務。
如果端側模型泛化能力不夠,系統可以去連接云端,實現更復雜的任務調度;另一方面,偏向于硬件底層的電機控制等工作都在本地甚至模塊中完成。「這類似于自動駕駛上 L1 到 L5 的不同分級 —— 想要構建全場景通用的智能機器人,存在不同的發展階段,」稚暉君表示。「我們定義了一系列 Meta skill,在語言操作庫范圍限定的有限泛化的場景內,機器人可以實現自主的推理決策,然后完成端到端的任務編排。隨著能力庫不斷擴充,機器人能夠勝任的任務空間也將指數級增長,最終可以實現全場景的覆蓋,切入千行百業。這體現了具身智能在交互和學習中進化成長的邏輯?!?/span>為了讓這些層級起作用,智元不止在大模型方面展開了探索,還迭代了其他方面的算法。比如,在運動控制算法方面,他們在幾個月的時間里進行了多次迭代,一直迭代到最近使用的非線性的 NMPC,以及目前正在開發中的基于各種 learning (比如強化學習)的方法。
同時,他們也在搭建一個用于離線軌跡優化的動作庫平臺。
未來,他們還將建立一個開放平臺,為開發者提供持續的技術支持、資金獎勵以及合作的機會,而且鼓勵開發者基于智元的機器人平臺去開發各種創新的應用功能和解決方案。未來,這個開放平臺會包含整個機器人的開發套件,包括 HDK、SDK、基于中間件 AGi ROS 的仿真平臺,以及一些基礎的預訓練大模型等等。同時他們也會去考慮推出一個低成本的教育版的硬件,供大家去進行二次開發。
未來要賣 20 萬以內
公司成立半年不到就發布第一款樣機,還具備完整的體系,讓人們不由得感嘆現在 AI 領域創業公司速度之快。更重要的是,智元機器人并不是一味在追求前沿技術探索,而是「所有產品都在為商業落地服務」。發布會上稚暉君表示,希望能把整機成本控制在 20 萬元以內,使其具備落地的條件,并計劃在遠征 A1 發布后,以此為基礎馬上推出第一代商用產品。商業化也已經有了相對具體的方向:基于當前的人形機器人技術,公司已在與國內新能源頭部車企商討合作。希望在汽車制造總裝線、分裝線等場景上進行商用化落地的嘗試,另外也在和 3C 制造的大廠研究合作。智元機器人還計劃在未來幾年里把人形機器人推廣到更多領域。在消費級市場,人形機器人預計可適用的方式包含烹飪、家政、家庭護理、康復訓練等。智元機器人(AGIBOT)成立于 2023 年 2 月,目前融資已經完成了四輪,投資方包括高領、百度等風投機構。說到公司未來的發展,智元計劃逐步開放開發平臺,在未來以每年一代的速度迭代新的樣機產品,并不斷進行商用驗證。稚暉君也表示,為了支持計劃,公司即將開啟秋招。智元機器人投身的具身智能當前是一個熱門領域。谷歌、斯坦福、英偉達等國際科技機構都在這方面展開了研究,并在近期展示了他們的具身智能機器人成果。今年 3 月份,一家名為 1X 的具身智能機器人公司還拿到了 OpenAI 的投資。隨著稚暉君等國內外優秀人才的快速進場,或許我們很快就能看到行業內出現顛覆性的應用。「我的夢想是有一天能夠真正造出科幻電影中的智能機器人,它不再是簡單的機械裝置,而是擁有自主思考和學習能力的智能伙伴,能夠感知、理解我們的世界,并與我們深入溝通,」稚暉君說道。「遠征 A1 的發布,只是我們追求的起點。」3. 釘釘個人版開放內測:無打卡、無已讀 提供一站式AI服務
原文:https://news.mydrivers.com/1/929/929366.htm快科技8月16日消息,根據釘釘官網顯示,全新的釘釘個人版已經正式啟動內測,所有用戶都可在官網申請加入內測。據了解,釘釘個人版,主要面向小團隊、個人用戶、高校大學生等人群,旨在探索每個個體、每個團隊的數字生產力工具,讓智能化變革普惠每一個個體,AI人人可用。
加入內測后,用戶可搶先體驗各類AI服務,目前文生文、文生圖、角色化對話以及AI創作等服務均限時免費。值得一提的是,釘釘個人版并沒有常規的打卡和消息已讀顯示功能,對個人用戶來說更加友好。
內測版本僅有空間、AI、云盤、會議4項功能,產品將以AI為核心,用戶可一站獲取類似ChatGPT、Midjourney、Notion AI等各類大模型能力,并提供“賈維斯”文生文 AI 和“繆斯”文生圖 AI。釘釘個人版負責人表示,除了支持升級會員版本提高功能權益外,釘釘個人版在商業化設計方面,也將率先推出“算粒”這一AI服務的計量單位,用戶使用 AI 問答、AI 圖片將會消耗不同數量的算粒,消耗完之后將只能使用免費的限額次數,或者增購算粒。
4. GPT-4數學再提30分,代碼解析器任督二脈被打開,網友:像大腦的工作方式
原文:https://www.thepaper.cn/newsDetail_forward_24270135GPT-4數學能力還能更強!新研究發現GPT-4代碼解釋器做題準確率與其使用代碼的頻率有關。為此,研究人員提出新方法對癥下藥,直接將其數學能力拔至新SOTA:在MATH數據集上,做題準確率從53.9%增加到了84.3%。
你沒聽錯,就是前段時間被稱為ChatGPT推出后最強模式的那個代碼解析器(Code Interpreter)。研究人員窺探了其代碼生成和執行機制,使用自我驗證、驗證引導加權多數投票的方法,直接打開其做數學題的任督二脈。好奇網友隨即而來:還想看他們做高數。
還有網友認為:這也就是大腦的工作方式,人類在解決數學問題時也會自我驗證。
一起來康康這項研究的細節~兩步提升數學能力GPT-4代碼解析器的代碼生成和執行機制究竟是怎樣的?來自港中文MMLab、南京大學、中科大、清華、城大、長沙理工等多個機構的學者為解開這一問題,使用特定代碼約束提示進行了一項試驗。
他們設計了3種不同的提示方法,限制GPT-4代碼解析器使用代碼的頻率:Prompt 1:完全不允許使用代碼,輸出完全依賴自然語言推理,禁止將代碼合并到解決方案中。Prompt 2:只允許使用1次代碼,也就是在生成解決方案時,只能在單個代碼塊內使用代碼。Basic Prompt:沒有限制,GPT-4代碼解析器可以進行一系列推理步驟,每個步驟都可由文字+Python代碼組成。
△(a)不同提示回答準確率比較(b)代碼使用頻率與五個難度級別準確率都成比例,這種現象在數學問題相對復雜時尤為明顯。結果發現,允許GPT-4代碼解析器多次生成和執行代碼,其解題正確度明顯高于僅用自然語言推理或只用1次代碼的情況。經分析,研究人員認為代碼的多次生成和執行可以讓GPT-4代碼解析器逐步完善解決方案,當代碼執行產生錯誤時,GPT-4代碼解析器可以自我調試修改方案。繼而引入“代碼使用頻率”概念,量化不同提示方法下代碼的使用次數。基于前面的分析結果,研究人員希望能加強GPT-4代碼解析器生成準確代碼、評估代碼執行結果以及自動調整解決方案的能力。所以提出了CSV(自我驗證)提示的方法,也就是為解決方案C引入了一個額外的驗證階段,稱為V。加入自我驗證提示效果對應上圖綠色Verification Prompt。如此一來,GPT-4代碼解析器需額外生成代碼來驗證答案,如果結果是False則重新推理得到正確答案。
CSV提示不僅對驗證到邏輯推理每一步都進行了擴展,而且可以自動更正錯誤,無需外部模型或人工參與。
△MATH數據集中第712個中級代數問題。CSV prompt:To solve the problem using code interpreter step by step, and please verify your answer using code interpreter.通過上圖這個例子可看出,在沒有自我驗證的情況下,模型生成了一個錯誤的答案。通過自我驗證,模型糾正了錯誤并生成了正確的答案。此外,鑒于CSV可以有效地驗證問題的答案,研究人員又提出了驗證引導加權多數投票(VW-voting)的方法,將自我驗證結果集成到多數表決中,給予不同驗證狀態不同權重,使表決更可靠。
在實際操作中,一旦一個答案被確認為錯誤,那就不會進行額外的驗證,從而得到一個錯誤的驗證狀態。研究人員分配相應的權重給這些狀態:真實(wT)、不確定(wU)和錯誤(wF)。
最后從候選答案中擇取得分最高的那一個:
比此前最高水平提高30%用上了上述方法,GPT-4代碼解析器做數學題的能力up up。在MATH數據集上,原始GPT-4代碼解析器的準確率為69.69%,使用CSV提示后提高到73.54%,再結合加權多數表決后進一步提高到84.32%,相比之前SOTA提高了30%以上。
△在MATH數據集上的準確率(%)在MATH數據集的各個子任務中,提出方法均取得顯著提高,尤其是在高難度級別的題目中效果更明顯。例如在中級代數(Intermediate Algebra)題目中,原來的GPT-4代碼解析器準確率為50.1%,使用新方法后提高到74.4%。除此之外,研究人員還在GSM8K、MMLU-Math、MMLU-STEM等數據集上進行了驗證。
△在GSM8K數據集上的表現上表可以看出,使用驗證引導加權多數投票的方法還可以顯著減少需要采樣的解路徑數量(Sampled paths),在GSM8K數據集上只需要5個路徑就達到97%的準確率。
△在MMLU數據集上的表現針對不同難度的題目(下圖a)以及不同類型題目(下圖b)的測試中,使用新方法后準確率都有了提升。
△每條曲線上的四個點分別對應于使用Prompt 1、Prompt 2、BasicPrompt、CSV Prompt得到的結果。研究人員還發現GPT-4代碼解析器的代碼使用頻率提高與準確率提高正相關。隨著題目難度的增加,代碼使用頻率穩步上升。這說明在較難的數學問題上,更頻繁地使用代碼很重要。此外,值得注意的是,盡管添加基于代碼的自我驗證可以提高每個單獨題目類型的性能,但改進的程度也因題目類型而異,從7.6%到僅0.6%不等。研究人員指出:特別是幾何問題的準確性僅提高了0.6%,原本GPT-4代碼解析器的準確性也只有54.0%,在各個題目類型中屬于較低的。這種差異可能是因為解決幾何問題通常需要多模態,超出了本文研究范圍。論文傳送門:https://arxiv.org/abs/2308.07921參考鏈接:[1]https://twitter.com/_akhaliq/status/1691734872329699813?s=20[2]https://x.com/justfannet/status/1691983780498600376?s=46&t=iTysI4vQLQqCNJjSmBODPw
5. 數學能力超ChatGPT,70B開源大模型火了:用AI微調AI,微軟全華班出品
原文:https://www.thepaper.cn/newsDetail_forward_24224649用AI生成的指令微調羊駝大模型,數學能力超ChatGPT——微軟最新開源大模型WizardMath來了。
如下圖所示,經過GSM8k數據集測試,WizardMath數學能力直接擊敗了ChatGPT、Claude Instant 1、PaLM 2-540B等一眾大模型——并且是在參數只有700億,遠不及后三者的情況之下。
HuggingFace已上線3個在線可玩版本(分別為7B、13B和70B參數),各種數學題可以直接丟進去試一試。比如解決下面這道四次多項式方程:
或者是一道簡單的微積分:
亦或者是稍微修改過的拉格朗日方程推導:
它都全部正確(過程也不需要等太久)。有網友向作者表示:效果真的很驚人,感謝你們對開源LLM的貢獻。
目前,相關代碼、復現方式以及論文也都開源或上線,GitHub短短幾天已攬獲4.8k標星。
那么,WizardMath究竟是如何做到的?用AI生成的指令增強大模型能力OpenAI的大模型(InstructGPT、GPT-4等)能夠取得巨大成功、去執行各種復雜和多樣化的任務,一部分原因是使用了真實人類用戶生成的開放域指令數據進行了微調。然而,不是誰都能像這家公司一樣獲得這樣的指令數據集。一是因為整個注釋過程極其昂貴且耗時,二是人工難以創建出足夠比例的高難度指令。因此,開發出一種成本相對較低的、大規模開放域指令自動生產方法,成為當下指令調優語言模型的關鍵。在此,作者將他們的方法命名為Evol Instruction。它是一種利用AI來代替人類自動生成涵蓋各種難度級別開放域指令的新方法。具體而言,Evol Instruction分為指令進化器和指令消除器。其中指令進化器可通過深度進化(藍線)或廣度進化(紅線)兩種路徑,將簡單指令升級為更復雜的指令或創建一條全新指令。具體執行哪一條?隨機選擇就好。
其中,深度進化的具體“進化法”,則是通過五種類型的操作來完成,包括:添加約束(add constraints)、深化(deepening)、具體化(concretizing)、增加推理步驟(increase reasoning steps)和使輸入復雜化(complicate input)。由于所有指令均由AI完成,有時難免會出現錯誤。因此,指令消除器就是用于過濾失敗指令的。以下是一個具體示例,該方法從“1+1=?”開始,最終通過以上步驟自動生成了相當多的新指令。
通過重復這一生成過程,最終我們就能得到足夠多的指令,然后將它們合并并隨機打亂,組成一個難度級別均勻分布的指令集,就可以對基礎大模型進行微調了。在此,作者選擇Alpaca的訓練數據(僅由175條人工創建的種子指令生成)作為初始數據集,然后使用ChatGPT的API執行了四個進化周期,最終獲得25萬條指令。為了與Vicuna的70k真實用戶數據(ShareGPT)進行公平比較,作者從這25萬條數據中抽取了等量的樣本,訓練LLaMA 7B模型,最終得到WizardLM,結果WizardLM的性能明顯優于Vicuna。(Alpaca:斯坦福在LLaMa-7B基礎上微調出來的模型;Vicuna,UC伯克利在LLaMa-13B的基礎上微調得來)此外,在更為復雜的測試指令下,人類更喜歡WizardLM的輸出,而非ChatGPT,這表明該方法可以顯著提高LLM處理復雜指令的能力。基于此,作者又利用Evol Instruction生成了很多數學領域相關的指令,然后微調羊駝大模型,得到了WizardMath。其效果如開頭所示,在GSM8k數據集上測得其數學能力超越包括ChatGPT、Claude Instant 1、PaLM 2-540B等一眾大模型,位列第5名,僅次于GPT-4、Claud1.3和2.0,以及5400億參數的Flan-PaLM 2之后。以此類推,作者還在羊駝之上得到了專攻代碼能力的WizardCoder,效果超越Claude和Bard(詳情可戳文末地址)。
團隊介紹本文共9位作者,全華人。一作有3位:Can Xu,微軟亞洲互聯網工程院S+D NLP組高級應用科學家,之前曾在微軟小冰研究組和微軟亞研院從事聊天機器人系統工作;Qingfeng Sun, Microsoft Research科學家,研究方向為自然語言處理和信息檢索,精通構建高效搜索系統,為Microsoft Bing和Office 365貢獻了核心深度模型;Kai Zheng,Microsoft Research科學家,研究方向為自然語言處理、搜索和推薦排名,同樣為Microsoft Bing和Office 365貢獻了核心深度模型。
通訊作者為姜大昕,微軟全球合伙人、副總裁、前微軟亞洲研究院首席科學家,在微軟工作16年有余、曾作為微軟必應搜索引擎和Cortana智能助手自然語言理解負責人,。
另還有一位作者Jiazhan Feng,是北大學生,這篇合著論文是TA在微軟實習時產出的。項目主頁:https://github.com/nlpxucan/WizardLM/tree/main/WizardMath論文地址:https://arxiv.org/abs/2304.12244(WizardLM)https://arxiv.org/abs/2306.08568(WizardCoder) ———————End———————
-
RT-Thread
+關注
關注
31文章
1274瀏覽量
39944
原文標題:【AI簡報20230818期】人形機器人問世:大模型加持;用AI微調AI,微軟全華班出品!
文章出處:【微信號:RTThread,微信公眾號:RTThread物聯網操作系統】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論