基于Transformer多模態(tài)先導(dǎo)性工作

多模態(tài)（Multimodality）是指在信息處理、傳遞和表達(dá)中涉及多種不同的感知模態(tài)或信息來源。這些感知模態(tài)可以包括語言、視覺、聽覺、觸覺等，它們共同...

2023-08-21 標(biāo)簽：數(shù)據(jù)人工智能Transformer 807 0

如何使用TPU-MLIR進(jìn)行模型轉(zhuǎn)換

TPU-MLIR之精度驗(yàn)證

2023-08-21 標(biāo)簽：網(wǎng)絡(luò)數(shù)據(jù)集模型轉(zhuǎn)換 680 0

AIGC時代軟件測試智能化到底會怎樣？

AI技術(shù)在軟件測試領(lǐng)域的應(yīng)用比軟件開發(fā)早。

2023-08-03 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)GUIai技術(shù) 1532 0

適用于各種NLP任務(wù)的開源LLM的finetune教程~

ChatGLM2-6b是清華開源的小尺寸LLM，只需要一塊普通的顯卡(32G較穩(wěn)妥)即可推理和微調(diào)，是目前社區(qū)非常活躍的一個開源LLM。

2023-07-24 標(biāo)簽：LoRa模塊nlpprompt 1689 0

谷歌新作SPAE：GPT等大語言模型可以通過上下文學(xué)習(xí)解決視覺任務(wù)

這篇論文揭示了 PaLM 或 GPT 在通過上下文學(xué)習(xí)解決視覺任務(wù)方面的能力，并提出了新方法 SPAE（Semantic Pyramid AutoEnc...

2023-07-09 標(biāo)簽：語言模型GPTnlp 1232 0

機(jī)器翻譯研究進(jìn)展

機(jī)器翻譯使用計算機(jī)將一種語言翻譯成另一種語言，具有低成本、高效率和高翻譯質(zhì)量等優(yōu)勢，在語音翻譯、同聲傳譯自動化等許多領(lǐng)域得到廣泛應(yīng)用。 隨著雙語語料庫的...

2023-07-06 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)計算機(jī)smt 762 0

基于交互環(huán)境的生成式預(yù)訓(xùn)練和指令微調(diào)方法

引言 距離上次的長篇大論，已經(jīng)過去了半年有余。這段時間，對于AI業(yè)界甚至整個世界，都是驚心動魄的。在這段時間里，最令人印象深刻的大事莫過于ChatGPT...

2023-06-19 標(biāo)簽：數(shù)據(jù)計算機(jī)視覺GPT 667 0

大模型參數(shù)高效微調(diào)技術(shù)原理綜述

神經(jīng)網(wǎng)絡(luò)包含很多全連接層，其借助于矩陣乘法得以實(shí)現(xiàn)，然而，很多全連接層的權(quán)重矩陣都是滿秩的。

2023-06-13 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)SVD電源優(yōu)化器 2339 0

In-Context-Learning在更大的語言模型上表現(xiàn)不同

最近，在語言模型領(lǐng)域取得了巨大的進(jìn)展，部分是因?yàn)樗鼈兛梢酝ㄟ^In-Context- Learning ( ICL)來完 成各種復(fù)雜的任務(wù)。

2023-06-12 標(biāo)簽：Palmiclnlp 672 0

大模型LLM領(lǐng)域，有哪些可以作為學(xué)術(shù)研究方向？

隨著全球大煉模型不斷積累的豐富經(jīng)驗(yàn)數(shù)據(jù)，人們發(fā)現(xiàn)大模型呈現(xiàn)出很多與以往統(tǒng)計學(xué)習(xí)模型、深度學(xué)習(xí)模型、甚至預(yù)訓(xùn)練小模型不同的特性，耳熟能詳?shù)娜鏔ew/Zer...

2023-05-29 標(biāo)簽：深度學(xué)習(xí)自然語言處理nlp 1103 0

時下改變AI的6大NLP語言模型

消除早期語言模型的局限性，特別是在預(yù)訓(xùn)練中表現(xiàn)出的單向性。這些限制了可用于預(yù)訓(xùn)練的架構(gòu)選擇，以及微調(diào)的方法。例如，OpenAI的GPT v1使用從左到右...

2023-05-26 標(biāo)簽：語言模型nlp 805 0

LangChain簡介

對 ChatGPT 等應(yīng)用著迷？想試驗(yàn)他們背后的模型嗎？甚至開源/免費(fèi)模型？不要再觀望……LangChain 是必經(jīng)之路……

2023-05-22 標(biāo)簽：機(jī)器人nlpChatGPT 8487 0

LlamaIndex：面向QA系統(tǒng)的全新文檔摘要索引

添加關(guān)鍵字過濾器是增強(qiáng)檢索結(jié)果的一種方法。但這也帶來了一系列挑戰(zhàn)。我們需要手動或通過 NLP 關(guān)鍵字提取/主題標(biāo)記模型為每個文檔充分確定合適的關(guān)鍵字。此...

2023-05-12 標(biāo)簽：代碼語言模型nlp 1298 0

如何通過一個簡單的方法來解鎖大型語言模型的推理能力？

近來NLP領(lǐng)域由于語言模型的發(fā)展取得了顛覆性的進(jìn)展，擴(kuò)大語言模型的規(guī)模帶來了一系列的性能提升，然而單單是擴(kuò)大模型規(guī)模對于一些具有挑戰(zhàn)性的任務(wù)來說是不夠的

2023-05-10 標(biāo)簽：機(jī)器學(xué)習(xí)MDAGPT 2090 0

詳解ChatGPT的預(yù)訓(xùn)練模型成長史

PFMs能在nlp中盛行起來，得益于能它同時對單詞的句法和語義表示進(jìn)行建模，并根據(jù)不同的輸入動態(tài)改變多義詞的表示上下文。PFM能學(xué)習(xí)豐富的語法和語義推理...

2023-04-25 標(biāo)簽：gpunlp半監(jiān)督學(xué)習(xí) 904 0

知識橋接的因果交互網(wǎng)絡(luò)（KBCIN）

另一方面，根據(jù)Moors等人[8],人類的感覺和行動傾向是情緒的兩個重要組成部分，并在很大程度上為目標(biāo)情緒的產(chǎn)生提供了潛在的因果線索。為此，社會交互CS...

2023-04-23 標(biāo)簽：數(shù)據(jù)集自然語言處理nlp 922 0