精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

電子發燒友App

硬聲App

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示
創作
電子發燒友網>電子資料下載>電子資料>PyTorch教程9.3.之語言模型

PyTorch教程9.3.之語言模型

2023-06-05 | pdf | 0.23 MB | 次下載 | 免費

資料介紹

9.2 節中,我們將看到如何將文本序列映射到標記中,其中這些標記可以被視為一系列離散的觀察結果,例如單詞或字符。假設文本序列中的標記長度T依次是 x1,x2,…,xT. 語言模型的目標是估計整個序列的聯合概率:

(9.3.1)P(x1,x2,…,xT),

其中可以應用第 9.1 節中的統計工具。

語言模型非常有用。例如,一個理想的語言模型將能夠自行生成自然文本,只需一次繪制一個標記即可 xt~P(xt∣xt?1,…,x1). 與使用打字機的猴子完全不同,從這種模型中出現的所有文本都將作為自然語言傳遞,例如英文文本。此外,只需在先前的對話片段上調節文本,就足以生成有意義的對話。顯然,我們離設計這樣一個系統還有很長的路要走,因為它需要理解文本,而不僅僅是生成語法合理的內容。

盡管如此,語言模型即使在其有限的形式下也能提供很好的服務。例如,“to recognize speech”和“to wreck a nice beach”這兩個短語聽起來非常相似。這可能會導致語音識別中出現歧義,這很容易通過一種語言模型來解決,該模型拒絕將第二種翻譯認為是古怪的。同樣,在文檔摘要算法中,值得知道“狗咬人”比“人咬狗”更頻繁,或者“我想吃奶奶”是一個相當令人不安的陳述,而“我想吃,奶奶”要溫和得多。

import torch
from d2l import torch as d2l
from mxnet import np, npx
from d2l import mxnet as d2l

npx.set_np()
from jax import numpy as jnp
from d2l import jax as d2l
No GPU/TPU found, falling back to CPU. (Set TF_CPP_MIN_LOG_LEVEL=0 and rerun for more info.)
import tensorflow as tf
from d2l import tensorflow as d2l

9.3.1. 學習語言模型

顯而易見的問題是我們應該如何對文檔甚至一系列標記進行建模。假設我們在單詞級別標記文本數據。讓我們從應用基本概率規則開始:

(9.3.2)P(x1,x2,…,xT)=∏t=1TP(xt∣x1,…,xt?1).

例如,包含四個單詞的文本序列的概率為:

(9.3.3)P(deep,learning,is,fun)=P(deep)P(learning∣deep)P(is∣deep,learning)P(fun∣deep,learning,is).

9.3.1.1. 馬爾可夫模型和n-克

9.1節的序列模型分析中,我們將馬爾可夫模型應用到語言建模中。序列上的分布滿足一階馬爾可夫性質,如果 P(xt+1∣xt,…,x1)=P(xt+1∣xt). 更高的階數對應更長的依賴關系。這導致我們可以應用一些近似值來對序列建模:

(9.3.4)

下載該資料的人也在下載 下載該資料的人還在閱讀
更多 >

評論

查看更多

下載排行

本周

  1. 1山景DSP芯片AP8248A2數據手冊
  2. 1.06 MB  |  532次下載  |  免費
  3. 2RK3399完整板原理圖(支持平板,盒子VR)
  4. 3.28 MB  |  339次下載  |  免費
  5. 3TC358743XBG評估板參考手冊
  6. 1.36 MB  |  330次下載  |  免費
  7. 4DFM軟件使用教程
  8. 0.84 MB  |  295次下載  |  免費
  9. 5元宇宙深度解析—未來的未來-風口還是泡沫
  10. 6.40 MB  |  227次下載  |  免費
  11. 6迪文DGUS開發指南
  12. 31.67 MB  |  194次下載  |  免費
  13. 7元宇宙底層硬件系列報告
  14. 13.42 MB  |  182次下載  |  免費
  15. 8FP5207XR-G1中文應用手冊
  16. 1.09 MB  |  178次下載  |  免費

本月

  1. 1OrCAD10.5下載OrCAD10.5中文版軟件
  2. 0.00 MB  |  234315次下載  |  免費
  3. 2555集成電路應用800例(新編版)
  4. 0.00 MB  |  33566次下載  |  免費
  5. 3接口電路圖大全
  6. 未知  |  30323次下載  |  免費
  7. 4開關電源設計實例指南
  8. 未知  |  21549次下載  |  免費
  9. 5電氣工程師手冊免費下載(新編第二版pdf電子書)
  10. 0.00 MB  |  15349次下載  |  免費
  11. 6數字電路基礎pdf(下載)
  12. 未知  |  13750次下載  |  免費
  13. 7電子制作實例集錦 下載
  14. 未知  |  8113次下載  |  免費
  15. 8《LED驅動電路設計》 溫德爾著
  16. 0.00 MB  |  6656次下載  |  免費

總榜

  1. 1matlab軟件下載入口
  2. 未知  |  935054次下載  |  免費
  3. 2protel99se軟件下載(可英文版轉中文版)
  4. 78.1 MB  |  537798次下載  |  免費
  5. 3MATLAB 7.1 下載 (含軟件介紹)
  6. 未知  |  420027次下載  |  免費
  7. 4OrCAD10.5下載OrCAD10.5中文版軟件
  8. 0.00 MB  |  234315次下載  |  免費
  9. 5Altium DXP2002下載入口
  10. 未知  |  233046次下載  |  免費
  11. 6電路仿真軟件multisim 10.0免費下載
  12. 340992  |  191187次下載  |  免費
  13. 7十天學會AVR單片機與C語言視頻教程 下載
  14. 158M  |  183279次下載  |  免費
  15. 8proe5.0野火版下載(中文版免費下載)
  16. 未知  |  138040次下載  |  免費