使用vLLM+OpenVINO加速大語(yǔ)言模型推理
隨著大語(yǔ)言模型的廣泛應(yīng)用，模型的計(jì)算需求大幅提升，帶來(lái)推理時(shí)延高、資源消耗大等挑戰(zhàn)。
基于哪吒開(kāi)發(fā)板部署YOLOv8模型
2024英特爾 “走近開(kāi)發(fā)者”互動(dòng)活動(dòng)-哪吒開(kāi)發(fā)套件免費(fèi)試 用 AI 創(chuàng)新計(jì)劃：哪吒開(kāi)發(fā)板是專為支持....
英特爾與火山引擎飛連攜手升級(jí)AI時(shí)代企業(yè)IT管理體驗(yàn)
在 AI 技術(shù)的推動(dòng)下，企業(yè) IT 管理正經(jīng)歷一場(chǎng)革命。日前，火山引擎飛連新品發(fā)布會(huì)成功舉辦。英特爾....
英特爾攜手浪潮信息從邊緣計(jì)算向邊緣智算邁進(jìn)
在數(shù)字化轉(zhuǎn)型和智能化升級(jí)的大背景下，數(shù)據(jù)的處理和計(jì)算能力的部署正逐漸向網(wǎng)絡(luò)邊緣和設(shè)備邊緣轉(zhuǎn)移。這種轉(zhuǎn)....
使用PyTorch在英特爾獨(dú)立顯卡上訓(xùn)練模型
《PyTorch 2.5重磅更新：性能優(yōu)化+新特性》中的一個(gè)新特性就是：正式支持在英特爾獨(dú)立顯卡上訓(xùn)....
使用OpenVINO Model Server在哪吒開(kāi)發(fā)板上部署模型
OpenVINO Model Server(OVMS)是一個(gè)高性能的模型部署系統(tǒng)，使用C++實(shí)現(xiàn)，并....
利用OpenVINO搭建本地智能體流水線
智能體 AI Agent 作為大模型的衍生應(yīng)用，具有對(duì)任務(wù)的理解、規(guī)劃與行動(dòng)能力。它可以通過(guò)將一個(gè)復(fù)....
利用OpenVINO部署Qwen2多模態(tài)模型
多模態(tài)大模型的核心思想是將不同媒體數(shù)據(jù)（如文本、圖像、音頻和視頻等）進(jìn)行融合，通過(guò)學(xué)習(xí)不同模態(tài)之間的....
使用OpenVINO和LlamaIndex構(gòu)建Agentic-RAG系統(tǒng)
RAG 系統(tǒng)的全稱是 Retrieval-augmented Generation，本質(zhì)上是 Pro....
使用OpenVINO C++在哪吒開(kāi)發(fā)板上推理Transformer模型
OpenVINO 是一個(gè)開(kāi)源工具套件，用于對(duì)深度學(xué)習(xí)模型進(jìn)行優(yōu)化并在云端、邊緣進(jìn)行部署。它能在諸如生....
英特爾如何助力服飾品牌引領(lǐng)風(fēng)尚
在時(shí)尚的海洋中，品牌如同航行者，而趨勢(shì)則是海上的啟明星。
“智造·芯生無(wú)限”Intel AI Summit成功舉行
日前，由英特爾主辦的“智造·芯生無(wú)限” Intel AI Summit在上海虹橋康得思酒店成功舉行。....
OpenVINO 2024.4持續(xù)提升GPU上LLM性能
本次新版本在整個(gè) OpenVINO 產(chǎn)品系列中引入了重要的功能和性能變化，使大語(yǔ)言模型 （LLM） ....
使用OpenVINO 2024.4在算力魔方上部署Llama-3.2-1B-Instruct模型
前面我們分享了《三步完成Llama3在算力魔方的本地量化和部署》。2024年9月25日，Meta又發(fā)....
使用OpenVINO GenAI API在C++中構(gòu)建AI應(yīng)用程序
許多桌面應(yīng)用程序是使用 C++ 開(kāi)發(fā)的，而將生成式AI（GenAI）功能集成到這些應(yīng)用程序中可能會(huì)很....
英特爾物聯(lián)網(wǎng)賦能千行百業(yè)智慧化發(fā)展
作為中國(guó)四大傳統(tǒng)節(jié)日之一，“端午食粽”的習(xí)俗延續(xù)至今，一到端午，制作粽子的訂單如潮水般涌來(lái)，從工廠生....
英特爾出席2024上?！I大模型盛會(huì)
一場(chǎng)屬于開(kāi)發(fā)者的技術(shù)盛宴“AI大模型：顛覆式創(chuàng)新與落地實(shí)踐”在上海模速空間完美收官，為所有參與者留下....
英特爾發(fā)布至強(qiáng)6處理器產(chǎn)品
以“綠色向新，釋放新質(zhì)生產(chǎn)力”為主題的英特爾至強(qiáng)6能效核處理器新品發(fā)布會(huì)在北京舉行。會(huì)上，英特爾重磅....
英特爾助力安恒信息加速恒腦大模型推理
如今，安全大模型正在為網(wǎng)絡(luò)安全行業(yè)帶來(lái)深度變革，在網(wǎng)絡(luò)安全分析、威脅檢測(cè)、智能策略制定等方面扮演著重....
在英特爾酷睿Ultra7處理器上優(yōu)化和部署Phi-3-min模型
2024年4月23日，微軟研究院公布Phi-3系列AI大模型，包含三個(gè)版本：mini(3.8B參數(shù))....
LangChain框架關(guān)鍵組件的使用方法
LangChain是一個(gè)強(qiáng)大的框架，旨在幫助開(kāi)發(fā)人員使用語(yǔ)言模型構(gòu)建端到端的應(yīng)用程序。它提供了一套工....
使用OpenVINO C# API部署YOLO-World實(shí)現(xiàn)實(shí)時(shí)開(kāi)放詞匯對(duì)象檢測(cè)
YOLO-World是一個(gè)融合了實(shí)時(shí)目標(biāo)檢測(cè)與增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)的創(chuàng)新平臺(tái)，旨在將現(xiàn)實(shí)世界與數(shù)字世....
基于Qwen-Agent與OpenVINO構(gòu)建本地AI智能體
Qwen2 是阿里巴巴集團(tuán) Qwen 團(tuán)隊(duì)研發(fā)的大語(yǔ)言模型和大型多模態(tài)模型系列。Qwen2 具備自然....
如何將Llama3.1模型部署在英特爾酷睿Ultra處理器
本文從搭建環(huán)境開(kāi)始，一步一步幫助讀者實(shí)現(xiàn)只用五行代碼便可將Llama3.1模型部署在英特爾 酷睿 U....
英特爾舉辦2024網(wǎng)絡(luò)與邊緣計(jì)算行業(yè)大會(huì)
今日，第十七屆英特爾網(wǎng)絡(luò)與邊緣計(jì)算行業(yè)大會(huì)在天津舉行，超過(guò)400位生態(tài)伙伴和客戶代表齊聚一堂，與英特....
基于英特爾平臺(tái)的中科創(chuàng)達(dá)車路云一體化解決方案亮相2024WAIC
2024 世界人工智能大會(huì)（WAIC）暨人工智能全球治理高級(jí)別會(huì)議在上海世博中心、上海世博展覽館拉開(kāi)....
英特爾攜手震坤行發(fā)布智能物聯(lián)聚合館
今天，英特爾與震坤行共同推出英特爾 智能物聯(lián)聚合館。這不僅是英特爾在物聯(lián)網(wǎng)領(lǐng)域深度開(kāi)拓市場(chǎng)的戰(zhàn)略舉措....
用OpenVINO C# API在intel平臺(tái)部署YOLOv10目標(biāo)檢測(cè)模型
最近YOLO家族又添新成員：YOLOv10，YOLOv10提出了一種一致的雙任務(wù)方法，用于無(wú)nms訓(xùn)....
工商網(wǎng)監(jiān)