基于圖為科技邊緣計算機系列產品,僅用三行代碼就能搞定百度飛槳AI算法的部署;讓AI算法部署變得簡單便捷,幫助企業加速AI方案落地進程。
人工智能產業應用發展的越來越快,開發者需要面對的適配部署工作也越來越復雜。層出不窮的算法模型、各種架構的AI硬件、不同場景的部署需求、不同操作系統和開發語言,為AI開發者項目落地帶來極大的挑戰。
為了解決AI部署落地難題,圖為科技受到百度飛槳和英偉達的邀請,完成FastDeploy部署工具在邊緣計算機上的驗證測試。FastDeploy旨在為AI開發者提供模型部署最優解,具備全場景、簡單易用、極致高效三大特點。開發者可以通過FastDeploy這款產品,滿足全場景的高性能部署需求,大幅提升AI產業部署的開發效率。
以下展開介紹FastDeploy的全場景、簡單易用、極致性能特性和圖為科技邊緣計算機的能力:
簡單易用
·多語言統一部署API,3行代碼搞定模型部署
FastDeploy精心的完成了API設計,確保使用不同編程語言的開發者能夠享受到統一的API體驗。并且,無論使用哪一種編程語言,都只需要3行核心代碼就可以實現預置模型的高性能推理。。
·一鍵體驗預置150+熱門模型,覆蓋20多主流產業應用場景
FastDeploy覆蓋20多主流場景,提供了150多個SOTA產業模型的端到端示例,模型類型覆蓋CV、NLP、Speech和跨模態等領域,讓開發者可以從場景入手,通過預置模型,使用FastDeploy快速部署起來。
FastDeploy 預置150多個產業SOTA模型
全場景
·多框架支持,一行命令實現模型協議互轉
接下來看看多框架支持的功能,FastDeploy中內置了X2Paddle和Paddle2ONNX模型轉換工具。只需要一行命令便可完成其他深度學習框架到飛槳以及ONNX的相互轉換,讓其他框架的開發者也能通過FastDeploy體驗到飛槳模型壓縮與推理引擎的端到端優化效果。
FastDeploy一行代碼切換多端部署
極致高效
·軟硬聯合自動壓縮優化,減少部署資源消耗
性能方面,FastDeploy集成了飛槳壓縮與推理的特色,聯動自動壓縮與推理引擎深度優化,實現了更高效的量化推理部署。利用PaddleSlim ACT自動壓縮技術帶來的無損壓縮體驗,以PP-LCNetV2和ERNIE 3.0-Medium模型為例,通過ACT自動壓縮技術,操作簡易度可以比擬傳統離線量化,實現近乎無損的模型壓縮效果。
FastDeploy一鍵自動壓縮,減少硬件資源消耗
·端到端前后預處理優化,減少部署資源消耗
FastDeploy在各模型的部署中,重點關注端到端到的部署體驗和性能。在服務端對預處理過程進行融合,降低內存創建開銷和計算量。在移動端集成百度視覺技術部自研高性能圖像處理庫FlyCV。結合FastDeploy多后端支持的優勢,相較原有部署代碼,所有模型端到端性能大幅提升。
FastDeploy前后預處理優化,減少硬件資源消耗
圖為科技邊緣計算機與飛槳FastDeploy部署工具經過長時間的開發測試,現已達到完美適配輕松部署的效果。目前FastDeploy中支持的150多個AI算法全部通過了圖為科技邊緣計算機的驗證測試,開發者拿到圖為邊緣計算機后可以直接進行部署應用,極大程度縮短了項目的研發周期。
圖為信息科技(深圳)有限公司是一家AI邊緣計算機運營服務商,專注邊緣計算機的研發、生產、銷售、運維等工作。目前基于NVIDIA Jetson系列核心模塊所設計的AI邊緣計算機,已廣泛應用于機器視覺檢測、人臉識別、行為識別、智能機器人、智能無人機、自動駕駛、智能安防等領域。
圖為科技最新推出的T928邊緣計算機,采用NVIDIA? JETSON AGX ORIN?核心板,具備200 TOPS浮點運算能力,萬兆網口、IP65防護等級、極致穩定可在-40度環境低溫穩定運行;支持數據加密,16路GMSL2接口,可選4G/5G通訊模塊,專為自動駕駛而設計。
邊緣計算,就用圖為邊緣計算機!小體積,大算力,更可靠!
審核編輯:湯梓紅
-
AI
+關注
關注
87文章
30239瀏覽量
268474 -
人工智能
+關注
關注
1791文章
46896瀏覽量
237664 -
英偉達
+關注
關注
22文章
3749瀏覽量
90856 -
邊緣計算
+關注
關注
22文章
3070瀏覽量
48660
發布評論請先 登錄
相關推薦
評論