影響AI生態(tài)系統(tǒng)的七大主要趨勢

過去，計算機只能在人類語言首先被翻譯成代碼后才能理解。但通過使用NLP，機器能夠在文本保持其自然狀態(tài)的情況下獲取智能。

2024-01-31 標簽：AI自然語言處理nlp 1613 0

基礎模型能為機器人帶來怎樣的可能性？

機器人是一種擁有無盡可能性的技術，尤其是當搭配了智能技術時。近段時間創(chuàng)造了許多變革性應用的大模型有望成為機器人的智慧大腦，幫助機器人感知和理解這個世界并...

2024-01-26 標簽：機器人計算機視覺自然語言處理 215 0

Continous Batching大模型推理關鍵技術

TurboTransformers算是比較早期指出輸入變長需要新的Batching方法的論文。在2020年上半年，我開始思考如何把變長輸入Batchin...

2024-01-23 標簽：gpuGPTnlp 708 0

Transformers的功能概述

近年來，我們聽說了很多關于Transformers的事情，并且在過去的幾年里，它們已經(jīng)在NLP領域取得了巨大成功。Transformers是一種使用注意...

2024-01-23 標簽：編碼器模型nlp 652 0

教您如何精調(diào)出自己的領域大模型

BERT和 GPT-3 等語言模型針對語言任務進行了預訓練。微調(diào)使它們適應特定領域，如營銷、醫(yī)療保健、金融。在本指南中，您將了解 LLM 架構、微調(diào)過程...

2024-01-19 標簽：神經(jīng)網(wǎng)絡nlpChatGPT 1093 0

詳解機器人技術基礎模型

基礎模型在解決機器人技術中的數(shù)據(jù)稀缺問題上至關重要。它們?yōu)槭褂米钌俚奶囟〝?shù)據(jù)學習和適應新任務提供了堅實的基礎。

2024-01-08 標簽：機器人人工智能自然語言處理 411 0

如何利用位置編碼實現(xiàn)長度外推？

無論是縮放位置索引還是修改基地，所有token都變得彼此更接近，這將損害LLM區(qū)分相近token的位置順序的能力。結合他們對RoPE的波長的觀察，存在一...

2024-01-08 標簽：語言模型Transformer位置編碼器 440 0

NLP領域的語言偏置問題分析

許多研究證明，學術論文表達的nativeness會影響其被接受發(fā)表的可能性[1, 2]。先前的研究也揭示了非英語母語的作者在國際期刊發(fā)表論文時所經(jīng)歷的壓...

2024-01-03 標簽：數(shù)據(jù)收集數(shù)據(jù)集自然語言處理 419 0

什么是AI Agent？NLP到AGI的發(fā)展路線

大模型在語言理解、決策制定以及泛化能力等方面展現(xiàn)出強大的潛力，成為代理構建過程中的關鍵角色，而代理的進展也為大模型提出了更高的要求。

2023-12-18 標簽：AI人工智能Agi 1498 0

什么是神經(jīng)網(wǎng)絡？神經(jīng)網(wǎng)絡是如何工作的？GPT與神經(jīng)網(wǎng)絡的關系

作為一名程序員，我們習慣于去了解所使用工具、中間件的底層原理，本文則旨在幫助大家了解 AI 模型的底層機制，讓大家在學習或應用各種大模型時更加得心應手，...

2023-12-13 標簽：神經(jīng)網(wǎng)絡RGB人工智能 1602 0

無監(jiān)督域自適應場景：基于檢索增強的情境學習實現(xiàn)知識遷移

本文對比了多種基線方法，包括無監(jiān)督域自適應的傳統(tǒng)方法（如Pseudo-labeling和對抗訓練）、基于檢索的LM方法（如REALM和RAG）和情境學習...

2023-12-05 標簽：解碼器編碼器語言模型 568 0

深入理解BigBird的塊稀疏高效實現(xiàn)方案

RoBERTa 架構的 BigBird 模型現(xiàn)已集成入 transformers 中。本文的目的是讓讀者 深入 了解 BigBird 的實現(xiàn)，并讓讀者能...

2023-11-29 標簽：gpu算法Transformer 530 0

基于顯式證據(jù)推理的few-shot關系抽取CoT

最近，上下文學習策略已被證明在沒有訓練的情況下顯示出顯著的結果。很少有研究利用上下文學習進行zero-shot信息提取。不幸的是，推理的證據(jù)在思維鏈提示...

2023-11-20 標簽：語言模型nlpLLM 831 0

大模型壓縮首篇綜述來啦

模型壓縮涉及將大型資源密集型模型轉化為適合在受限移動設備上存儲的緊湊版本。此外，它還可以優(yōu)化模型以實現(xiàn)更快的執(zhí)行速度和最小的延遲，或在這些目標之間取得平衡。

2023-09-26 標簽：模型數(shù)據(jù)集nlp 1010 0

這篇究極諷刺的文章一出，NLP無了

一個在推上測試Phi-1.5的例子引發(fā)了眾多討論。例如，如果你截斷下圖這個問題并輸入給Phi-1.5，它會自動完成為計算第三個月的下載數(shù)量，并且回答是正確的。

2023-09-25 標簽：模型數(shù)據(jù)集nlp 288 0

什么是零樣本學習？為什么要搞零樣本學習？

零樣本分類的技術目前正處于高速發(fā)展時期， 所涉及的具體應用已經(jīng)從最初的圖像分類任務擴展到了其他計算機視覺任務乃至自然語言處理等多個相關領域。 對此， 本...

2023-09-22 標簽：深度學習自然語言處理nlp 2077 0

大模型基礎Transformer結構的原理解析

該研究的結果適用于一般數(shù)據(jù)集，可以擴展到交叉注意力層，并且研究結論的實際有效性已經(jīng)通過徹底的數(shù)值實驗得到了驗證。該研究建立一種新的研究視角，將多層 tr...

2023-09-07 標簽：AI向量機Transformer 1102 0