精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

BERT模型的PyTorch實現

DPVg_AI_era ? 來源:未知 ? 作者:李倩 ? 2018-11-13 09:12 ? 次閱讀

谷歌NLP模型的官方TensorFlow實現很強,現在,它的PyTorch版本來了!只需簡單運行一次轉換腳本,就可得到一個PyTorch模型,且結果與原始版本相近,甚至更好。

上周,谷歌最強NLP模型BERT開源了官方TensorFlow代碼和預訓練模型,引起大量關注。

現在,PyTorch用戶的福利來了:一個名為Hugging Face的團隊近日公開了BERT模型的谷歌官方TensorFlow庫的op-for-op PyTorch重新實現:

https://github.com/huggingface/pytorch-pretrained-BERT

這個實現可以為BERT加載任何預訓練的TensorFlow checkpoint(特別是谷歌的官方預訓練模型),并提供一個轉換腳本。

BERT-base和BERT-large模型的參數數量分別為110M和340M,為了獲得良好的性能,很難使用推薦的batch size在單個GPU上對其進行微調。為了幫助微調模型,這個repo還提供了3種可以在微調腳本中激活技術:梯度累積(gradient-accumulation)、multi-GPU和分布式訓練。

其結果如下:

在序列級MRPC分類任務上,該實現使用小型BERT-base模型再現了原始實現的84%-88%的準確率。

在token級的SQuAD 任務上,該個實現使用小型BERT-base模型再現了原始實現的88.52 F1的結果。

作者表示,正致力于在其他任務以及更大的BERT模型上重現結果。

BERT模型的PyTorch實現

這個存儲庫包含了谷歌BERT模型的官方TensorFlow存儲庫的op-for-op PyTorch重新實現。谷歌的官方存儲庫是與BERT論文一起發布的:BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,作者是Jacob Devlin、Ming-Wei Chang、Kenton Lee和Kristina Toutanova。

這個實現可以為BERT加載任何預訓練的TensorFlow checkpoint(特別是谷歌的預訓練模型),并提供了一個轉換腳本(見下文)。

此外,我們將在本周晚些時候添加多語言版本和中文版本的模型代碼。

腳本:加載任何TensorFlow檢查點

使用convert_tf_checkpoint_to_pytorch.py腳本,你可以在PyTorch保存文件中轉換BERT的任何TensorFlow檢查點(尤其是谷歌發布的官方預訓練模型)。

這個腳本將TensorFlow checkpoint(以bert_model.ckpt開頭的三個文件)和相關的配置文件(bert_config.json)作為輸入,并為此配置創建PyTorch模型,從PyTorch模型的TensorFlow checkpoint加載權重并保存生成的模型在一個標準PyTorch保存文件中,可以使用 torch.load()導入(請參閱extract_features.py,run_classifier.py和run_squad.py中的示例)。

只需要運行一次這個轉換腳本,就可以得到一個PyTorch模型。然后,你可以忽略TensorFlow checkpoint(以bert_model.ckpt開頭的三個文件),但是一定要保留配置文件(bert_config.json)和詞匯表文件(vocab.txt),因為PyTorch模型也需要這些文件。

要運行這個特定的轉換腳本,你需要安裝TensorFlow和PyTorch。該庫的其余部分只需要PyTorch。

下面是一個預訓練的BERT-Base Uncased 模型的轉換過程示例:

export BERT_BASE_DIR=/path/to/bert/uncased_L-12_H-768_A-12 python convert_tf_checkpoint_to_pytorch.py --tf_checkpoint_path $BERT_BASE_DIR/bert_model.ckpt --bert_config_file $BERT_BASE_DIR/bert_config.json --pytorch_dump_path $BERT_BASE_DIR/pytorch_model.bin

你可以在這里下載Google的預訓練轉換模型:

https://github.com/google-research/bert#pre-trained-models

BERT的PyTorch模型

在這個庫里,我們提供了三個PyTorch模型,你可以在modeling.py中找到:

BertModel- 基本的BERT Transformer 模型

BertForSequenceClassification- 頂部帶有sequence classification head的BERT模型

BertForQuestionAnswering- 頂部帶有token classification head 的BERT模型,

以下是每類模型的一些細節。

1 . BertModel

BertModel是一個基本的BERT Transformer模型,包含一個summed token、位置和序列嵌入層,然后是一系列相同的self-attention blocks(BERT-base是12個blocks, BERT-large是24個blocks)。

輸入和輸出與TensorFlow 模型的輸入和輸出相同。

具體來說,該模型的輸入是:

input_ids:一個形狀為[batch_size, sequence_length]的torch.LongTensor,在詞匯表中包含單詞的token索引

token_type_ids:形狀[batch_size, sequence_length]的可選torch.LongTensor,在[0,1]中選擇token類型索引。類型0對應于句子A,類型1對應于句子B。

attention_mask:一個可選的torch.LongTensor,形狀為[batch_size, sequence_length],索引在[0,1]中選擇。

模型的輸出是由以下內容組成的一個元組:

all_encoder_layers:一個大小為[batch_size, sequence_length,hidden_size]的torch.FloatTensor列表,它是每個注意塊末端隱藏狀態的完整序列列表(即BERT-base的12個完整序列,BERT-large的24個完整序列)

pooled_output:一個大小為[batch_size, hidden_size]的torch.FloatTensor,它是在與輸入(CLF)的第一個字符相關聯的隱藏狀態之上預訓練的分類器的輸出,用于訓練Next-Sentence任務(參見BERT的論文)。

extract_features.py腳本提供了有關如何使用這類模型的示例,該腳本可用于為給定輸入提取模型的隱藏狀態。

2 . BertForSequenceClassification

BertForSequenceClassification是一個fine-tuning 模型,包括BertModel,以及BertModel頂部的一個序列級分類器(sequence-level classifier)。

序列級分類器是一個線性層,它將輸入序列中第一個字符的最后隱藏狀態作為輸入(參見BERT論文中的圖3a和3b)。

run_classifier.py腳本提供了關于如何使用此類模型的示例,該腳本可用于使用BERT微調單個序列(或序列對)分類器,例如用于MRPC任務。

3. BertForQuestionAnswering

BertForQuestionAnswering是一個fine-tuning 模型,包括BertModel,它在最后隱藏狀態的完整序列之上具有token級分類器(token-level classifiers)。

token-level 分類器將最后隱藏狀態的完整序列作為輸入,并為每個token計算得分,(參見BERT論文的圖3c和3d)。

run_squad.py腳本提供了有關如何使用此類模型的示例,該腳本可用于使用BERT微調token分類器,例如用于SQuAD任務。

安裝、要求、測試

這段代碼在Python 3.5+上進行了測試。必備條件是:

PyTorch (> = 0.4.1)

tqdm

安裝dependencies:

pip install -r ./requirements.txt

測試文件夾中包含一系列測試,可以使用pytest運行(如果需要,請安裝pytest: pip install pytest)。

你可以使用以下命令運行測試:

python -m pytest -sv tests/大批量訓練:梯度積累、多GPU、分布式訓練

BERT-base和BERT-large的模型參數分別是110M和340M,為了獲得良好的性能(大多數情況下批大小是32),很難在單個GPU上對它們進行微調。

為了幫助對這些模型進行微調,我們介紹了在微調腳本run_classifier.py和run_squad中可以激活的四種技術:優化CPU、梯度積累、multi-gpu和分布式訓練。

有關如何使用這些技術的更多細節,你可以閱讀這篇關于PyTorch批量訓練技巧的文章:

https://medium.com/huggingface/training-larger-batches-practical-tips-on-1-gpu-multi-gpu-distributed-setups-ec88c3e51255

BERT的微調:運行示例

我們展示了與原始實現相同的示例:在MRPC分類語料庫上微調sequence級分類器和在問題回答數據集SQuAD上微調token級分類器。

在運行這些示例之前,應該先下載GLUE數據,并將其解壓縮到某個目錄$GLUE_DIR。還需下載BERT-Base checkpoint,將其解壓縮到某個目錄$BERT_BASE_DIR,并將其轉換為上一節所述的PyTorch版本。

這個示例代碼基于微軟研究意譯語料庫(MRPC)調優了BERT-Base,在單個K-80上運行只需不到10分鐘。

export GLUE_DIR=/path/to/glue python run_classifier.py --task_name MRPC --do_train --do_eval --do_lower_case --data_dir $GLUE_DIR/MRPC/ --vocab_file $BERT_BASE_DIR/vocab.txt --bert_config_file $BERT_BASE_DIR/bert_config.json --init_checkpoint $BERT_PYTORCH_DIR/pytorch_model.bin --max_seq_length 128 --train_batch_size 32 --learning_rate 2e-5 --num_train_epochs 3.0 --output_dir /tmp/mrpc_output/

基于原始實現的超參數進行測試,評估結果達到84%到88%。

第二個示例是基于SQuAD問題回答任務微調BERT-Base。

export SQUAD_DIR=/path/to/SQUAD python run_squad.py --vocab_file $BERT_BASE_DIR/vocab.txt --bert_config_file $BERT_BASE_DIR/bert_config.json --init_checkpoint $BERT_PYTORCH_DIR/pytorch_model.bin --do_train --do_predict --do_lower_case --train_file $SQUAD_DIR/train-v1.1.json --predict_file $SQUAD_DIR/dev-v1.1.json --train_batch_size 12 --learning_rate 3e-5 --num_train_epochs 2.0 --max_seq_length 384 --doc_stride 128 --output_dir ../debug_squad/

使用之前的超參數進行訓練,得到如下結果:

{"f1": 88.52381567990474, "exact_match": 81.22043519394512}在GPU上微調BERT-large

上面列出的選項允許在GPU上很容易地對BERT-large進行微調,而不是像原始實現那樣使用TPU。

例如,針對SQuAD任務微調BERT-large模型,可以在服務器上用4個k-80在18個小時內完成。我們的結果與TensorFlow的實現結果相似(實際上是略高):

{"exact_match": 84.56953642384106, "f1": 91.04028647786927}

為了得到這些結果,我們使用了以下組合:

多GPU訓練(在多GPU服務器上自動激活),

梯度累積

在CPU上執行優化步驟,將Adam的平均值存儲在RAM中。

以下是我們在此次運行中使用的超參數的完整列表:

python ./run_squad.py --vocab_file $BERT_LARGE_DIR/vocab.txt --bert_config_file $BERT_LARGE_DIR/bert_config.json --init_checkpoint $BERT_LARGE_DIR/pytorch_model.bin --do_lower_case --do_train --do_predict --train_file $SQUAD_TRAIN --predict_file $SQUAD_EVAL --learning_rate 3e-5 --num_train_epochs 2 --max_seq_length 384 --doc_stride 128 --output_dir $OUTPUT_DIR/bert_large_bsz_24 --train_batch_size 24 --gradient_accumulation_steps 2 --optimize_on_cpu

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 谷歌
    +關注

    關注

    27

    文章

    6142

    瀏覽量

    105115
  • tensorflow
    +關注

    關注

    13

    文章

    329

    瀏覽量

    60500
  • pytorch
    +關注

    關注

    2

    文章

    803

    瀏覽量

    13152

原文標題:橫掃各項NLP任務的BERT模型有了PyTorch實現!提供轉換腳本

文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    Pytorch模型訓練實用PDF教程【中文】

    ?模型部分?還是優化器?只有這樣不斷的通過可視化診斷你的模型,不斷的對癥下藥,才能訓練出一個較滿意的模型。本教程內容及結構:本教程內容主要為在 PyTorch 中訓練一個
    發表于 12-21 09:18

    怎樣去解決pytorch模型一直無法加載的問題呢

    rknn的模型轉換過程是如何實現的?怎樣去解決pytorch模型一直無法加載的問題呢?
    發表于 02-11 06:03

    pytorch模型轉化為onxx模型的步驟有哪些

    首先pytorch模型要先轉化為onxx模型,然后從onxx模型轉化為rknn模型直接轉化會出現如下問題,環境都是正確的,論壇詢問后也沒給出
    發表于 05-09 16:36

    怎樣使用PyTorch Hub去加載YOLOv5模型

    在Python>=3.7.0環境中安裝requirements.txt,包括PyTorch>=1.7。模型和數據集從最新的 YOLOv5版本自動下載。簡單示例此示例從
    發表于 07-22 16:02

    通過Cortex來非常方便的部署PyTorch模型

    個研究模型儲存在 PyTorch Hub],從 NLP 到計算機視覺。所有這些都可以通過 Cortex 來實現,使用的過程和我們剛才演示的一樣。原作者:Caleb Kaiser
    發表于 11-01 15:25

    Pytorch模型轉換為DeepViewRT模型時出錯怎么解決?

    我正在尋求您的幫助以解決以下問題.. 我在 Windows 10 上安裝了 eIQ Toolkit 1.7.3,我想將我的 Pytorch 模型轉換為 DeepViewRT (.rtm) 模型,這樣
    發表于 06-09 06:42

    如何將PyTorch模型與OpenVINO trade結合使用?

    無法確定如何轉換 PyTorch 掩碼 R-CNN 模型以配合OpenVINO?使用。
    發表于 08-15 07:04

    pytorch模型轉換需要注意的事項有哪些?

    什么是JIT(torch.jit)? 答:JIT(Just-In-Time)是一組編譯工具,用于彌合PyTorch研究與生產之間的差距。它允許創建可以在不依賴Python解釋器的情況下運行的模型
    發表于 09-18 08:05

    圖解BERT預訓練模型!

    BERT的發布是這個領域發展的最新的里程碑之一,這個事件標志著NLP 新時代的開始。BERT模型打破了基于語言處理的任務的幾個記錄。在 BERT 的論文發布后不久,這個團隊還公開了
    的頭像 發表于 11-24 10:08 ?3624次閱讀

    PyTorch教程15.9之預訓練BERT的數據集

    電子發燒友網站提供《PyTorch教程15.9之預訓練BERT的數據集.pdf》資料免費下載
    發表于 06-05 11:06 ?0次下載
    <b class='flag-5'>PyTorch</b>教程15.9之預訓練<b class='flag-5'>BERT</b>的數據集

    PyTorch教程15.10之預訓練BERT

    電子發燒友網站提供《PyTorch教程15.10之預訓練BERT.pdf》資料免費下載
    發表于 06-05 10:53 ?0次下載
    <b class='flag-5'>PyTorch</b>教程15.10之預訓練<b class='flag-5'>BERT</b>

    PyTorch教程16.6之針對序列級和令牌級應用程序微調BERT

    電子發燒友網站提供《PyTorch教程16.6之針對序列級和令牌級應用程序微調BERT.pdf》資料免費下載
    發表于 06-05 10:51 ?0次下載
    <b class='flag-5'>PyTorch</b>教程16.6之針對序列級和令牌級應用程序微調<b class='flag-5'>BERT</b>

    PyTorch教程16.7之自然語言推理:微調BERT

    電子發燒友網站提供《PyTorch教程16.7之自然語言推理:微調BERT.pdf》資料免費下載
    發表于 06-05 10:52 ?0次下載
    <b class='flag-5'>PyTorch</b>教程16.7之自然語言推理:微調<b class='flag-5'>BERT</b>

    PyTorch教程-15.9。預訓練 BERT 的數據集

    實驗室在 SageMaker Studio Lab 中打開筆記本 為了預訓練第 15.8 節中實現BERT 模型,我們需要以理想的格式生成數據集,以促進兩項預訓練任務:掩碼語言建模和下一句預測
    的頭像 發表于 06-05 15:44 ?777次閱讀

    使用PyTorch搭建Transformer模型

    Transformer模型自其問世以來,在自然語言處理(NLP)領域取得了巨大的成功,并成為了許多先進模型(如BERT、GPT等)的基礎。本文將深入解讀如何使用PyTorch框架搭建T
    的頭像 發表于 07-02 11:41 ?1483次閱讀