作者：楊雪鋒 博士

英特爾邊緣計算創新大使

01OpenVINO Notebooks 簡介

OpenVINO Notebooks 是 Jupyter Notebook 形式的 OpenVINO 范例程序大集合，方便開發者快速學習并掌握 OpenVINO 推理程序，并通過 Copy&Paste 方式將范例中的關鍵程序應用到自己的 AI 軟件中去。

01運行 AI 大模型的挑戰

OpenVINO Notebooks 提供了非常豐富的 AI 大模型范例程序，例如：Dolly2、Stable Diffusion、LLama2、ChatGLM2 等等，方便廣大開發者學習并應用 AI 大模型。

但運行 AI 大模型范例程序時，由于眾所周知的原因，通常會遇到因無法從 HuggingFace 官網下載模型，導致范例程序無法運行的情況。

以 240-dolly-2-instruction-following.ipynb 為例，運行“Download and Convert Model”代碼時會收到報錯信息，如下圖所示：

鑒于直接從 HuggingFace 官網無法下載 AI 大模型，可以考慮使用國內的兩個下載速度非常好的網站：

一個是HuggingFace 的國內鏡像網站；另一個是魔搭社區。

本文將演示分別從HuggingFace 的國內鏡像網站和魔搭社區來解決下載 AI 大模型問題。

03從HuggingFace 國內鏡像網站

解決下載問題

3.1命令行模式

第一步，安裝下載工具：

pip install -U huggingface_hub hf_transfer

左滑查看更多

第二步，設置環境變量

在Linux中，執行：

export HF_HUB_ENABLE_HF_TRANSFER=1
export HF_ENDPOINT=https://hf-mirror.com

左滑查看更多

在Windows中，執行：

SET HF_HUB_ENABLE_HF_TRANSFER=1
SET HF_ENDPOINT=https://hf-mirror.com

左滑查看更多

第三步，運行下載命令，下載模型到本地

huggingface-cli download --resume-download databricks/dolly-v2-3b --local-dir dolly-v2-3b

左滑查看更多

3.2用下載器下載

在模型頁面，右鍵菜單啟動：“多選下載模式”，如下圖所示。

模型頁面:

然后選擇所有要下載的文件，最后按“Enter”啟動下載。

實際測試，迅雷下載的方式，速度最快，平均在 6MB/s 左右。

3.3從本地加載模型權重

將 dolly-v2-3b 下載到本地后，把 model_id 改為 model_local_path, 讓程序從本地加載模型權重，例如：

model_id = "databricks/dolly-v2-3b"
model_local_path = "D:/dolly-v2-3b"
tokenizer = AutoTokenizer.from_pretrained(model_local_path,local_file_only=True)
ov_model = OVModelForCausalLM.from_pretrained(model_local_path, device=current_device, export=True, ov_config=ov_config, load_in_8bit=False,local_file_only=True)

左滑查看更多

在 240-dolly-2-instruction-following.ipynb 中“Download and Convert Model”代碼塊更改如下所示：

from pathlib import Path
from transformers import AutoTokenizer
from optimum.intel.openvino import OVModelForCausalLM


model_id = "databricks/dolly-v2-3b"
model_local_path = "D:/dolly-v2-3b"
model_path = Path("dolly-v2-3b")
tokenizer = AutoTokenizer.from_pretrained(model_local_path,local_file_only=True)
current_device = device.value
ov_config = {'PERFORMANCE_HINT': 'LATENCY', 'NUM_STREAMS': '1', "CACHE_DIR": ""}
if model_path.exists():
  ov_model = OVModelForCausalLM.from_pretrained(model_path, device=current_device, ov_config=ov_config)
else:
  ov_model = OVModelForCausalLM.from_pretrained(model_local_path, device=current_device, export=True, ov_config=ov_config, load_in_8bit=False,local_file_only=True)
  ov_model.half()
  ov_model.save_pretrained(model_path)

左滑查看更多

240-dolly-2-instruction-following.ipynb 從本地加載模型的運行效果，如下圖所示：

04從魔搭社區解決下載問題

4.1使用 modelscope API 下載模型

第一步，安裝 modelscope：

pip install modelscope

左滑查看更多

第二步，運行 Python 腳本，下載模型到本地

from modelscope import snapshot_download 
model_dir = snapshot_download("ZhipuAI/chatglm2-6b", revision = "v1.0.12")
print(model_dir)

左滑查看更多

下載速度非常快，模型保存在“model_dir”所展示的路徑里，如下圖所示。

4.2使用 git lfs工具下載

git lfs install 
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

左滑查看更多

4.3從本地加載模型權重

打開 OpenVINO Notebooks 的 254-llm-chatbot.ipynb，把本地模型所在路徑傳入 AutoModelForCausalLM.from_pretrained()，如下圖所示：

#從本地載入分詞器
tok = AutoTokenizer.from_pretrained("D:/chatglm2-6b", trust_remote_code=True)

左滑查看更多

254-llm-chatbot.ipynb 從本地加載模型的運行結果，如下圖所示：

總 結

當遇到從 HuggingFace 官網無法下載 AI 大模型時，可以從國內鏡像網站或魔搭社區下載，然后從本地加載模型權重，實現 OpenVINO Notebooks 的范例代碼順利運行。

審核編輯：湯梓紅