使用vLLM+OpenVINO加速大語言模型推理

隨著大語言模型的廣泛應用，模型的計算需求大幅提升，帶來推理時延高、資源消耗大等挑戰。

2024-11-15 標簽：英特爾大模型OpenVINO 227 0

基于哪吒開發板部署YOLOv8模型

2024英特爾 “走近開發者”互動活動-哪吒開發套件免費試 用 AI 創新計劃：哪吒開發板是專為支持入門級邊緣 AI 應用程序和設備而設計，能夠滿足人工...

2024-11-15 標簽：英特爾接口AI 152 0

使用PyTorch在英特爾獨立顯卡上訓練模型

《PyTorch 2.5重磅更新：性能優化+新特性》中的一個新特性就是：正式支持在英特爾獨立顯卡上訓練模型！

2024-11-01 標簽：英特爾顯卡AI 223 0

使用OpenVINO Model Server在哪吒開發板上部署模型

OpenVINO Model Server(OVMS)是一個高性能的模型部署系統，使用C++實現，并在Intel架構上的部署進行了優化，使用OpenVI...

2024-11-01 標簽：英特爾開發板模型 184 0

英特爾和阿里云開發DDR5內存故障預測和預防解決方案

在阿里云數據中心，內存故障是服務器穩定運行面臨的主要挑戰之一。大規模數據中心中的內存故障，不僅會降低服務器的可靠性，還可能中斷數據中心的服務并影響服務器...

2024-10-12 標簽：英特爾內存阿里云 545 0

火絨安全利用英特爾OpenVINO工具套件增強病毒檢測能力

在現代網絡環境中，網絡安全面臨著日益復雜的挑戰，包括新興的勒索軟件、多變的木馬病毒以及其他先進的持續威脅。這些威脅不斷演變，要求安全解決方案不僅要快速反...

2024-10-12 標簽：處理器英特爾軟硬件 392 0

使用OpenVINO C++在哪吒開發板上推理Transformer模型

OpenVINO 是一個開源工具套件，用于對深度學習模型進行優化并在云端、邊緣進行部署。它能在諸如生成式人工智能、視頻、音頻以及語言等各類應用場景中加快...

2024-10-12 標簽：英特爾開發板模型 275 0

OpenVINO 2024.4持續提升GPU上LLM性能

本次新版本在整個 OpenVINO 產品系列中引入了重要的功能和性能變化，使大語言模型 （LLM） 的優化和部署在所有支持的場景中更容易、性能更高，包括...

2024-10-12 標簽：處理器英特爾LLM 294 0

使用OpenVINO GenAI API在C++中構建AI應用程序

許多桌面應用程序是使用 C++ 開發的，而將生成式AI（GenAI）功能集成到這些應用程序中可能會很具有挑戰性，尤其是因為使用像 Hugging Fac...

2024-10-12 標簽：英特爾AIC++ 304 0

淺談英特爾在先進封裝領域的探索

隨著工藝節點的進步，英特爾也在不斷推進下一代封裝技術的發展。對高性能硅需求與工藝節點開發相結合，創造了一種新的方案，即處理器不再是單片硅，而是依賴于多個...

2024-10-09 標簽：芯片英特爾封裝技術 371 0

基于菲數科技FA728Q加速卡實現低時延LLT應用

菲數科技使用Stratix 10 FPGA和開源的開放式FPGA堆棧(OFS)基礎設施開發高性能FPGA加速卡。

2024-08-30 標簽：FPGA英特爾加速卡 469 0

在英特爾酷睿Ultra7處理器上優化和部署Phi-3-min模型

2024年4月23日，微軟研究院公布Phi-3系列AI大模型，包含三個版本：mini(3.8B參數)、small(7B參數)以及medium(14B參數...

2024-08-30 標簽：處理器英特爾AI 538 0

三行代碼完成生成式AI部署

OpenVINO2024.2版本跟之前版本最大的不同是OpenVINO2024.2分為兩個安裝包分別是基礎包與生成式AI支持包，新發布的GenAI開發包...

2024-08-30 標簽：英特爾生成式AIOpenVINO 380 0

使用OpenVINO C# API部署YOLO-World實現實時開放詞匯對象檢測

YOLO-World是一個融合了實時目標檢測與增強現實（AR）技術的創新平臺，旨在將現實世界與數字世界無縫對接。該平臺以YOLO（You Only Lo...

2024-08-30 標簽：英特爾API目標檢測 546 0

基于Qwen-Agent與OpenVINO構建本地AI智能體

Qwen2 是阿里巴巴集團 Qwen 團隊研發的大語言模型和大型多模態模型系列。Qwen2 具備自然語言理解、文本生成、視覺理解、音頻理解、工具使用、角...

2024-07-26 標簽：英特爾AI模型 721 0

如何將Llama3.1模型部署在英特爾酷睿Ultra處理器

本文從搭建環境開始，一步一步幫助讀者實現只用五行代碼便可將Llama3.1模型部署在英特爾 酷睿 Ultra 處理器上。

2024-07-26 標簽：處理器英特爾模型 1944 0

基于英特爾至強6能效核處理器優化原生分布式數據庫OceanBase

隨著數字化、在線化、智能化的演進，企業面臨著指數級遞增的海量存儲需求和挑戰，同時，企業需要降本增效，進行更好更智能的數據決策。基于英特爾 至強 6 能效...

2024-07-24 標簽：英特爾數據庫 460 0

英特爾軟硬件構建模塊如何幫助優化RAG應用

深入研究檢索增強生成 (Retrieval Augmented Generation, RAG)，該創新方法定義了企業和機構如何利用大語言模型(LLM)...

2024-07-24 標簽：英特爾軟硬件LLM 384 0