1. 中國移動輕量化邊緣AI，讓識別更準更快

原文：http://szjj.china.com.cn/2023-09/14/content_42521336.html

隨著各行各業對AI需求的井噴,邊緣AI成為炙手可熱的領域。邊緣AI能夠在靠近數據產生的邊緣側,更高效、更低成本、更安全地進行實時AI分析,已經成為萬物互聯時代AI應用的關鍵技術。在剛剛結束的第二屆光合組織解決方案大賽中,中國移動智慧家庭運營中心研發的“基于邊緣云計算平臺的AI智能識別應用”方案,獲得了光合組織AI解決方案大賽三等獎。業內人士認為,該方案極大提升了邊緣AI的性能與靈活性,將推動邊緣側AI人臉識別的規模化應用。

1:N≤0.5S/人,實現邊緣AI性能突破

過去,受制于邊緣節點計算性能與成本的制約,AI人臉識別應用廣泛部署在云端。但邊緣側數據的上傳和結果的下發受網絡狀況影響較大,往往面臨計算響應延遲、網絡帶寬擁擠等挑戰,同時也存在一定的數據安全風險。中國移動智慧家庭運營中心的“基于邊緣云計算平臺的AI智能識別應用”方案,將原本部署在平臺側的AI識別算法,下沉到以海光異構加速卡算力資源和存儲資源為基礎設施的邊緣節點,實現了實時的、高效的人臉識別功能,極大提升了AI人臉識別的性能,降低了帶寬成本。與市場已有的人臉識別方案相比,“基于邊緣云計算平臺的AI智能識別應用”方案具備三大優勢:第一,更高的識別準確度與更快的識別速度。方案精準定位目標人臉中360個以上關鍵點位置,并使用生成對抗網絡的側臉識別演進算法降低對人臉角度的要求,識別率更高。方案還具備高識別比對速度,達到1:N比對時間(從N個人臉數據中找出1個目標進行匹配)≤0.5S/人的指標,滿足多人無感同行需求。第二,實現邊緣云平臺的統一管理,降本增效。通過輕量云平臺技術構建了邊緣資源池,方案對AI所需資源統一編排管理,實現融合聯動,不僅能夠節約建設成本,還大幅降低了管理運維成本。第三,全面的數據安全性。方案底層的海光異構加速芯片通過擴充安全算法指令、集成安全算法專用加速電路等方式,提升了整體方案的數據安全性。在邊緣側處理海量人臉圖像,保障了敏感數據不出網,杜絕了隱私數據泄露等安全隱患。此外,基于海光芯片高兼容性、生態應用豐富等特點,該方案具備易于集成的優勢。無論是對于固定的安防監控系統,還是移動的智能設備,都可以實現輕松部署,因此在教育、安防、醫療、金融等行業均具有廣泛的應用場景。比如,通過用高精度人臉識別系統構建安全校園,解決傳統人力安保體系效率低、出錯率高等問題。在機場、車站等人流密集的公共安防空間,方案可以在海量數據、高并發的場景中,實現更高效的人臉識別,提升智慧城市管理效率。

生態賦能,助力產業鏈協同創新

“基于邊緣云計算平臺的AI智能識別應用“方案的脫穎而出,離不開光合組織解決方案大賽的鼎力支持。“光合方案大賽在行業內具有較強的影響力。大賽為我們提供了基于海光異構加速卡的物理機設備、異構算力資源、適配認證以及技術支撐,為模型的訓練、推理提供可靠、穩定、高性能的加速能力,有效提升了圖像分類及目標檢測精度和準確率?！敝袊苿又腔奂彝ミ\營中心一位技術負責人表示。目前,第三屆光合組織解決方案大賽已經開啟,設置集智計劃(人工智能)、桃李計劃(教育信息化)、堡壘計劃(安全技術應用)三大方向,并為獲獎團隊提供了1000萬的資金與資源支持。光合組織期待與創新企業、機構共建開放、創新的信息技術產業生態!

2. 騰訊健康公布醫療大模型發布多場景AI產品矩陣

原文：http://science.china.com.cn/2023-09/11/content_42516411.htm

9月8日,騰訊健康公布醫療大模型,全新發布智能問答、家庭醫生助手、數智醫療影像平臺等多場景AI產品矩陣,藥物發現平臺“云深”(iDrug)披露全新的蛋白質結構預測算法框架tFold。騰訊健康總裁吳文達指出,醫療健康的數智化升級已從“先行先試”,轉變為“全面擁抱”,人工智能及各類數智化工具的應用將加速普及;騰訊將與合作伙伴共建“TRUST”模式,加強技術創新與數字基建,推動“數智醫療”普惠普及。

讓大模型更懂醫療

騰訊杰出科學家、騰訊天衍實驗室主任鄭冶楓公布了醫療大模型的研發進程。騰訊全新發布的全鏈路自研混元大模型,擁有超千億參數規模和超2萬億tokens預訓練語料,具備強大的中文創作能力、復雜語境下的邏輯推理能力以及可靠的任務執行能力。以此為基座模型,持續加入涵蓋285萬醫學實體、1250萬醫學關系,覆蓋98%醫學知識的醫學知識圖譜和醫學文獻,使大模型進一步掌握專業的醫學知識。經過3000萬覆蓋患者、醫生、藥廠等場景及醫療流程的問答對話進行多任務微調,以及36萬組專家醫生標注數據的強化學習,讓騰訊的醫療大模型在處理醫療需求時更專業、精準,同時也兼顧了患者關懷,更接近人類醫生。

目前,騰訊醫療大模型包括文案生成、智能問答、病歷結構化和檢索、影像報告和輔助診斷等場景大模型,可嵌入醫療環節全流程,在科室導診、醫生推薦、預問診、醫患對話、病歷自動生成和智能院務客服等應用場景中實現醫療服務水平和質量的全面提升。

就診全流程智能升級

騰訊健康用戶平臺總經理吳志剛介紹,依托醫學知識圖譜及醫療大模型,AI導輔診應用進行了全面升級,包括醫學智能問答、數字人就醫助手、智能自由問診、病歷自動生成、AI合理用藥、智能化隨訪管理、患者全流程管理等應用,為醫療決策全流程提供更精準的輔助,助力患者就醫體驗以及臨床醫生、藥劑師服務效率和質量的雙向提升。診前階段的應用除了醫學智能問答,還升級了數字人就醫助手,能提供7*24h的智能客服及專業科普服務;診中環節,基于大模型的能力學習百萬級醫患對話及3000多疾病推演解析,升級了模擬自由對話真實度更強的輔助問診、更符合書寫規范的病歷自動生成以及能給出可解釋性依據的輔助診療等應用;診后階段采用人工智能+互聯網醫療的新型模式升級了智能化隨訪管理和患者全流程管理等應用。目前,上海仁濟醫院已經率先運用騰訊醫療大模型,以互聯網醫院適老化服務為重點,打造高度擬人化的虛擬數字形象“小威護士”,為老年患者提供更溫暖、便捷的醫療服務。

多場景推動AI應用普及

在AI驅動藥物發現方面,騰訊“云深”(iDrug)平臺已同時具備了小分子藥物與大分子藥物的加速發現能力。據騰訊AIDD技術負責人劉偉介紹,在蛋白質結構預測方面,“云深”(iDrug)平臺開發了全新的算法框架tFold,其先進性多次獲得國際的蛋白質結構預測評估平臺證明;在藥物的ADMET屬性的預測方面已研發并上線70+個ADMET性質,并通過結合物理學特征和藥企合作等數據訓練證明能夠超越主流軟件;開發了兩個骨架躍遷分子生成算法發現nM級先導化合物,并在3-4個項目中得到了有效證明,同時還引入了強化學習技術在藥物小分子生成方面達成97%的生成分子滿足要求。在助力基層服務能力提升方面,騰訊健康還發布了全新的家庭醫生助手。騰訊健康戰略及醫療產品總經理王倩怡指出,利用微信、企業微信打通醫患的溝通渠道,以及醫療大模型的助力,將為醫生提供更加智能的簽約、咨詢、隨訪、宣教能力?；卺t療大模型的能力,家庭醫生助手能夠化身“基層AI百事通”,為居民提供精細化的健康管理。在醫學影像科研及應用方面,騰訊覓影全面升級了數智醫療影像平臺,專注于數字醫療影像云端應用、科研及管理,同時搭載人工智能分析能力,提供產、學、研、管一體化醫療影像解決方案,為醫療機構、科研院校、科創企業提供醫療影像領域的全面支持。平臺還將進一步開放20多個騰訊自研的AI引擎,助力科研機構AI模型自主研發及訓練。

構建數智醫療的“TRUST”模式

目前,騰訊健康小程序已連接超3000家可掛號公立醫院、超5000家體檢機構,以及超200個城市的疫苗服務;醫保電子憑證覆蓋超80萬家兩定機構及超20000家醫院;微信渠道的電子健康卡用戶超6億,接入5000多家醫院。騰訊健康進一步加強用戶與醫療服務的連接效用。騰訊健康總裁吳文達指出,在技術創新上,騰訊健康持續投入醫療AI相關技術研究,累計專利1000多件,并加速轉化前沿技術應用到醫療場景;同時,騰訊在算力供給、數據存儲、安全防護等數字基礎設施方面的積累,將為醫療行業提供可靠的底層保障;此外,借助微信、騰訊會議等廣泛的用戶能力,人工智能應用可以廣泛助力醫療普惠;為此,騰訊健康將進一步推動自身能力、技術和產品開放,與行業共建規范一致的數字醫療標準,打造可復制的創新標桿。

3. 人工智能爆火導致用水量飆升：問ChatGPT 50個問題，耗水500毫升

原文：https://new.qq.com/rain/a/20230911A00Z0E00

聯合國環境規劃署曾發布報告稱，世界上約三分之二的人口每年至少經歷1個月的嚴重缺水。到2030年，情況預計將更加惡化，世界上近半人口將面臨嚴重的水資源短缺。除了農業和工業用水增長外，人工智能熱潮導致的用水量也在飆升，而科技巨頭們正因此變得更“饑渴”。到目前為止，研究人員和開發人員主要關注減少人工智能模型的碳足跡，而經常忽視它們的水足跡。在數據中心培訓和部署人工智能模型需要消耗大量的水。舉例來說，在微軟最先進的美國數據中心培訓GPT-3可能直接消耗70萬升清潔淡水，這些淡水可用于生產370輛寶馬汽車或320輛特斯拉電動汽車。此外，ChatGPT每次涉及20到50個問題的簡單對話中，消耗的水量約為500毫升。這乍看起來不算多，但考慮到這款聊天機器人有超過1億的活躍用戶，每個人都參與了多個對話，其用水量相當驚人。不僅僅是微軟和OpenAI，在用水量方面，谷歌更是大戶。2021年，僅其在美國的數據中心就將消耗127億升淡水用于冷卻，其中約90%都是可飲用水。總體而言，2014年美國數據中心的總用水量估計高達6260億升。值得稱贊的是，大型科技公司都在采取措施來幫助解決這個問題。其中，亞馬遜、Meta、谷歌和微軟等科技巨頭，都承諾到2030年變得“積極用水”，這意味著他們補充的水將超過他們消耗的水。

01 與ChatGPT每次交互耗水500毫升

構建像ChatGPT這類人工智能產品的成本可能很難衡量，其中包括用水成本。訓練和部署OpenAI的技術需要大量的水，該公司需要從愛荷華州中部的浣熊河(Raccoon)和得梅因河(Des Moines)的交匯處抽水，為強大的超級計算機降溫。這臺超算正幫助OpenAI的人工智能系統學習如何模仿人類書寫。隨著微軟、OpenAI和谷歌等領先的科技開發商競相利用生成式人工智能的熱潮，他們都承認，對其人工智能工具日益增長的需求帶來了高昂的成本，從訂購昂貴的半導體到用水量激增都在推動成本上漲。但這些科技公司通常對細節守口如瓶。在愛荷華州，很少有人知道該州是OpenAI最先進大語言模型GPT-4的誕生地，直到一位微軟高管在一次演講中說漏了嘴，它“實際上是在得梅因以西的玉米地旁邊構建的”。構建大語言模型需要分析大量人類書寫文本的模式，所有這些計算都需要大量的電力，并會產生大量的熱量。為了在炎熱的天氣里保持涼爽，數據中心需要抽入大量的水，通常需要降水送入倉庫大小、位于建筑外的冷卻塔中。任何在公司服務器機房待過的人都知道，你需要先帶上毛衣。服務器機房要時刻保持涼爽，溫度通常在10攝氏度左右，以防止設備出現故障。保持這一理想溫度是一個持續的挑戰，因為服務器本身會將電能轉化為熱量。而冷卻塔通常被用來消耗熱量，并通過蒸發冷水來保持房間的理想溫度。冷卻塔可以完成這項工作，但它們需要大量的水。研究人員估計，數據中心平均每千瓦時消耗大約一加侖的水。也不是任何類型的水都可以使用。數據中心使用清潔的淡水來源，以避免海水可能帶來的腐蝕或細菌生長。淡水對于控制房間內的濕度也是必不可少的。此外，數據中心也需要大量由水力發電的能源支持，科學家們將這種情況稱為“非現場間接用水量”。加州大學河濱分校的研究員任少雷一直在試圖計算ChatGPT等生成式人工智能產品對環境的影響。在一篇將于今年晚些時候發表的論文中，任少雷的團隊估計，每次你問ChatGPT 5到50個提示或問題時，它就會消耗500毫升的水。當然，其用水量取決于服務器所在的位置和季節。這一估計包括了這些公司沒有測量的間接用水，比如為數據中心供電的發電廠降溫用水。“大多數人都沒有意識到ChatGPT背后的資源消耗情況，”任說。“如果你不知道資源的使用情況，那么我們就無法幫助保護資源。”OpenAI在其聲明中回應了這些評論，稱該公司正在“充分考慮”如何最好地利用計算能力。“我們認識到，培訓大型模型可能是能源和水密集型的，為此會努力提高效率，”該公司表示。

02 微軟因訓練和部署AI用水量飆升34%

微軟在其最新的環境報告中披露，從2021年到2022年，該公司全球用水量飆升了34%(達到近17億加侖，或超過2500個奧運會游泳池儲水量)。與外部研究人員對微軟人工智能研究相關用水情況相比，這一數字有了大幅增長。

在就用水問題做出回應時，微軟在一份聲明中表示，它正在投資研究，以衡量人工智能的能源和碳足跡，“同時努力使大語言模型系統在培訓和應用方面更有效率”。

該公司的聲明稱：“我們將繼續監測我們的排放，加快進度，同時增加使用清潔能源為數據中心供電，購買可再生能源，并通過其他努力實現我們的可持續發展目標，即到2030年實現負碳、水正和零浪費?！?/span>微軟于2019年對總部位于舊金山的OpenAI進行了第一筆10億美元的投資。兩年多后，這家初創公司推出了ChatGPT，并引發了全球對人工智能進步的關注。作為投資協議的一部分，微軟將為OpenAI提供訓練人工智能模型所需的計算能力。為了至少完成其中的一部分工作，兩家公司把目光投向了愛荷華州的西得梅因，這是個擁有6.8萬人口的城市。十多年來，微軟一直在那里建設數據中心，以為其云計算服務提供支持。微軟在當地建設的第四和第五個數據中心將于今年晚些時候投入使用。微軟開始在西得梅因投資時擔任市長的史蒂夫·蓋爾(Steve Gaer)說：“他們（微軟）正在以最快的速度建造這些設施。”他表示，該公司被西得梅因致力于建設公共基礎設施的承諾所吸引，并通過納稅為支持這項投資貢獻了一筆“驚人”的資金。

微軟在2020年首次表示，它正在為OpenAI開發世界上最強大的超級計算機之一，當時拒絕向媒體透露其部署的位置，但將其描述為“單一系統”，擁有超過28.5萬個傳統半導體核心和1萬個圖形處理器，后者是對人工智能工作負載至關重要的芯片。專家們表示，由于需要在計算核心之間傳輸大量數據，在單個地點對人工智能模型進行預訓練至關重要。直到5月下旬，微軟總裁布拉德·史密斯（Brad Smith）才透露，該公司已經在愛荷華州建立了“先進的人工智能超級計算數據中心”，專門讓OpenAI能夠訓練其第四代模型GPT-4。這種模型現在支持高級版本的ChatGPT和微軟自己的諸多產品，并加速了一場關于遏制人工智能社會風險的辯論。史密斯說：“這個數據中心是由加州工程師設計的，但它實際上是在愛荷華州建造的?！?/span>在某些方面，西得梅因是訓練強大人工智能系統相對高效的地方，特別是與微軟在亞利桑那州的數據中心相比，后者為同樣的計算需求消耗的水要多得多。“因此，如果你在微軟內部開發人工智能模型，那么你應該把模型的培訓安排在愛荷華州，而不是亞利桑那州，”任少雷說?！霸谟柧毞矫?，這兩個地方沒有什么區別。但在用水和能源小號方面，兩者有很大的不同?！?/span>在一年中的大部分時間里，愛荷華州的天氣足夠涼爽，以至于微軟可以使用外部空氣來保持超級計算機的正常運行，并將熱量排出大樓。該公司在一份公開披露的文件中表示，只有當溫度超過29.3攝氏度時，它才會利用水來降溫。即便如此，微軟可能仍然需要使用大量的水，特別是在夏天。根據西得梅因水廠的數據，2022年7月，也就是OpenAI表示完成GPT-4培訓的前一個月，微軟向其愛荷華州的數據中心群注入了約1150萬加侖的水。這相當于該地區總用水量的6%左右，該水廠也為當地居民提供飲用水。2022年，西得梅因水廠的一份文件稱，該公司和市政府只會考慮微軟未來的特定數據中心項目，前提是這些項目能夠“展示并實施技術，大幅降低當前水平的高峰用水量”，以保護住宅和其他商業用戶的供水。微軟表示，該公司正在直接與自來水廠合作，以解決反饋意見。自來水廠在一份書面聲明中表示，微軟始終是一個很好的合作伙伴，一直在與當地官員合作，在滿足其需求的同時減少水足跡。

03 谷歌用水量飆升20%，AI競賽讓情況變得更糟

谷歌于7月份發布的2023年環境報告顯示，該公司的用水量飆升20%，這在很大程度上也歸功于其人工智能工作。這家互聯網巨頭表示，其2022年消耗了56億加侖的水，相當于37個高爾夫球場的用水量，其中52億加侖用于支持其龐大的數據中心運營，比上一年增加了20%。谷歌的用水量上漲幅度并不一致：在俄勒岡州，其用水量很穩定，因為它吸引了公眾的注意；而在拉斯維加斯以外，它的用水量翻了一番。在愛荷華州，谷歌同樣很饑渴，其Council Bluffs數據中心用水量比其他任何地方都多。谷歌的報告詳細介紹了保持大型數據中心運行所需要的環境成本，這些數據中心通常需要大量的水才能保持涼爽。數據顯示，隨著谷歌和人工智能競賽中的所有其他科技公司加快建設新的數據中心，它們的用水量很可能會繼續上升。2019年，谷歌僅在三個州就為數據中心申請了超過23億加侖的水。該公司目前在北美擁有14個數據中心，用于支持其產品套件Google Search，以及最近推出的Lamda和Bard等大語言模型。數據顯示，僅Lamda就可能需要數百萬升水來進行培訓，比GPT-3還要多，因為谷歌的幾個干渴的數據中心都位于得克薩斯州等炎熱的州。

加州大學河濱分校電氣與計算機工程系副教授任少雷指出，谷歌用水量增加20%幾乎與其計算能力的增長同時發生，而谷歌的計算能力在很大程度上是由人工智能推動的。然而，任少雷表示，他對這種增長能否長期持續持懷疑態度，即使谷歌承諾補充水資源以抵消其使用量。他說：“這只是讓他們的水務賬目看起來更好，但水仍然被大量消耗?！?/span>谷歌表示，2030年是其辦公室和數據中心補充120%淡水的最后期限。根據它自己的報告，目前它只補充了6%的淡水。谷歌目前消耗的大部分水都是“可飲用的”，足夠干凈，可以用作飲用水。谷歌在最新報告中指出，該公司已經考慮到緩解“當地的水資源壓力”（水資源短缺的另一種方法），并表示到 2022 年，其淡水抽取量的 82% 將來自水資源相對豐富的地區。對于剩下的18%，谷歌稱其正在探索新的合作伙伴和機會來改善用水情況，但隨著更多的地方面臨水資源短缺，它可能會面臨越來越大的阻力。2019年，谷歌計劃在亞利桑那州梅薩建立一個數據中心，保證每天最多供水400萬加侖。但正如媒體最近指出的那樣，亞利桑那州已經面臨水資源短缺困擾，這可能會阻止其批準谷歌類似的交易。事實上，谷歌的一位發言人表示，一旦數據中心建成，那里將使用“風冷技術”。這表明谷歌正在努力尋找更可持續的用水策略，以應對不斷增長的用水需求。04 Meta新AI模型用水總量驚人微軟和谷歌并不是唯一感到越來越饑渴的公司。Facebook母公司Meta也在亞利桑那州建設一個數據中心，2022年用水量超過260萬立方米(約合6.97億加侖)，主要用于冷卻數據中心。此外，Meta最新的大語言模型Llama 2，也需要大量的水來訓練。今年7月份，Meta發布了名為Llama 2的大型新人工智能模型。科技行業的人都感到很興奮，除了任少雷，他對訓練這些大語言模型需要消耗的水量感到擔心。任少雷估計，訓練Llama 2需要的用水總量高達1090萬升，如果不包括水力發電，則為280萬升。普通人平均每天要喝大約3升水。Meta沒有透露它用了多少水來訓練這個人工智能模型。不過，該公司確實披露了耗電量。任少雷以此為基礎，研究了Meta數據中心在使用能源和水方面的效率。他說，Llama 2幾乎是Meta今年早些時候推出的上一款大型人工智能模型Llama 1的水足跡的兩倍。數據中心已經消耗了大量的能源，人工智能的蓬勃發展預計將大幅增加這種消耗。任少雷表示：“如果用電量增加，碳足跡和水足跡等其他東西也會隨之增加?！?Meta發言人沒有就任少雷的估算進行置評。Meta的數據中心在2021年使用了超過500萬立方米的水，大約相當于13.3億加侖。該公司尚未分享2022年的數據。到今年年底或者明年，Meta將在亞利桑那州建成并擴建一個數據中心，其用水量將繼續攀升。

4. Nvidia發布TensorRT-LLM開源軟件提升高端GPU芯片上的AI模型性能

原文：https://new.qq.com/rain/a/20230911A075ZW00

Nvidia近日宣布推出一款名為TensorRT-LLM的新開源軟件套件，擴展了Nvidia GPU上大型語言模型優化的功能，并突破了部署之后人工智能推理性能的極限。

生成式AI大語言模型因其令人印象深刻的功能而變得流行，而且擴大了人工智能的可能性，被廣泛應用于眾多行業，讓用戶能夠通過聊天機器人“與數據對話”、總結大型文檔、編寫軟件代碼、以及發現理解信息的新方法。Nvidia公司超大規模和高性能計算副總裁Ian Buck表示：“大型語言模型推理變得越來越難。模型的復雜性不斷增加，模型變得越來越智能，也變得越來越大，這是很自然的，但當模型擴展到單個GPU之外并且必須在多個GPU上運行的時候，就成了一大難題?！?/span>在人工智能方面，推理是模型處理那些前所未見的新數據的一個過程，例如用于總結、生成代碼、提供建議或者回答問題，是大型語言模型的主力。隨著模型生態系統的迅速擴展，模型也變得越來越大，功能越來越多，這也意味著模型變得如此之大以至于無法同時運行在單個GPU上，而必須將其分開。開發人員和工程師必須手動將工作負載分開或分段，協調執行，以便實時獲得響應。TensorRT-LLM就是通過“張量并行性”幫助解決這個問題的，允許跨多個GPU進行大規模的高效推理。除此之外，由于當今市場中有各種各樣的大型語言模型，所以Nvidia針對目前主流的大型語言模型對核心進行了優化。該軟件套件包括了完全優化的、可立即運行的大型語言模型版本，包括Meta Platform的Llama 2、OpenAI的GPT-2和GPT-3、Falcon、MosaicMPT和BLOOM。

應對動態工作負載的“運行中批處理”機制

由于大型語言模型本身的性質，模型的工作負載可能是高度動態的，工作負載的需求和任務使用情況也可能會隨著時間的推移而發生變化，單個模型可以同時用作聊天機器人來提問和回答，也可以用于總結大型文檔和簡短文檔。因此，輸出大小可能會出現完全不同的數量級。為了應對這些不同的工作負載，TensorRT-LLM引入了一種稱為“運行中批處理”的機制，這是一個優化調度的過程，把文本生成過程分解為多個片段，以便可以將移入或者移出GPU，這樣在開始新一批之前就不需要完成整批工作負載了。以前，如果有大型請求的話，例如對非常大的文檔進行摘要提取，那么后面所有的內容都必須等待該過程完成才能使隊列繼續前進。Nvidia一直在與眾多廠商合作優化TensorRT-LLM，包括Meta、Cohere、Grammarly、Databricks和Tabnine。在他們的幫助下，Nvidia不斷簡化軟件套件中的功能和工具集，包括開源Python應用用戶界面，用于定義和優化新架構以定制大型語言模型。例如，MosaicML在將TensorRT-LLM與其現有軟件堆棧集成時在TensorRT-LLM之上添加額外的功能。Databricks公司工程副總裁Naveen Rao表示，這是一個簡單的過程。“TensorRT-LLM易于使用，功能豐富，包括令牌流、動態批處理、分頁注意力、量化等，而且效率很高，為使用 NVIDIA GPU的大型語言模型服務提供了最佳性能，并使我們能夠將節省的成本回饋給我們的客戶。”Nvidia稱，TensorRT-LLM及其帶來的好處（包括運行中批處理功能）可以讓使用Nvidia H100提取文章摘要的推理性能提高1倍多。在使用GPT-J-6B模型進行對CNN/每日郵報文章摘要的A100測試中，僅H100就要比A100快4倍，啟用TensorRT-LLM優化后，速度快了8倍。TensorRT-LLM為開發人員和工程師提供了深度學習編譯器、優化的大型語言模型內核、預處理和后處理、多GPU/多節點通信功能、以及簡單的開源API，使他們能夠快速優化和執行大型語言模型生產的推理。隨著大型語言模型繼續重塑數據中心，企業需要更高的性能就意味著開發人員比以往任何時候都更需要能夠為他們提供具備功能和訪問權限的工具，以提供更高性能的結果。TensorRT-LLM軟件套件現已可供Nvidia開發人員計劃中的開發人員搶先體驗，并將于下個月集成到用于生產型AI端到端軟件平臺Nvidia AI Enterprise的NeMo框架中。

5. 魔法打敗魔法，AI數據需要AI解決方案

原文：https://new.qq.com/rain/a/20230914A07W7X00

根據Kompprise委托進行的“非結構化數據管理狀況”調查顯示，人工智能正成為IT和商業領袖面臨的主要數據管理挑戰。研究顯示，公司在很大程度上允許員工使用生成型人工智能，但三分之二（66%）的公司擔心它可能帶來的數據治理風險，包括隱私、安全以及供應商解決方案中缺乏數據源透明度。這項由數據管理供應商Kompprise委托進行的“非結構化數據管理狀況”調查收集了美國和英國擁有1000多名員工的公司的300名企業存儲IT和業務決策者的回復。雖然只有10%的組織不允許員工使用生成人工智能，但大多數組織擔心不道德、有偏見或不準確的輸出，以及公司數據泄露到供應商的人工智能系統中。為了應對這些挑戰，同時也從人工智能中尋找競爭優勢，研究發現，40%的領導者正在采取多管齊下的方法來降低人工智能中非結構化數據的風險，包括存儲、數據管理和安全工具，以及使用內部工作組來監督人工智能的使用。領導者面臨的最大非結構化數據管理挑戰是“在不干擾用戶和應用程序的情況下移動數據”（47%），但緊隨其后的是“為人工智能和云服務做準備”（46%）。“生成式人工智能對數據治理和保護提出了新的問題，” NAND Research首席分析師Steve McDowell表示，“研究顯示，IT領導者正在努力在快速推出生成式人工智能解決方案的同時，負責平衡企業數據的保護，但這是一個困難的挑戰，需要采用智能工具?！?/span>“IT領導者正在將重點轉移到利用生成性人工智能解決方案上，但他們希望在這樣做時有所限制， ” Kompprise首席執行官Kumar Goswami補充道，“人工智能的數據治理需要正確的數據管理策略，包括跨數據存儲孤島的可見性、數據來源的透明度、高性能的數據移動性和安全的數據訪問。”

6. 俄IT巨頭Yandex開發GPT大模型，稱與ChatGPT抗衡“只是時間問題”

原文：https://www.163.com/dy/article/IE9Q30M00511B8LM.html

俄媒 Russia Today 當地時間 9 日報道，當地科技巨頭 Yandex 在采訪中表示，該公司開發的 YandexGPT 相比于美國競爭對手 OpenAI 開發的 ChatGPT 而言，具有更大的前途。 andex 的搜索和廣告技術業務部主管 Dmitry Masyuk 表示，YandexGPT 在生成俄語內容時的表現已經能夠“穩步超越”ChatGPT 3.5 版本，甚至在許多情況下提供了優于 ChatGPT 4.0 的回答，更表示 YandexGPT 與其美國對手抗衡將“只是時間問題”。而跟 Meta 公司開發的 Llama-2-7b 相比，YandexGPT 也能夠生成“更好的回答”，包括生成英語內容的情況。Dmitry Masyuk 也稱，公司正在不斷評估其生成式 AI 與 ChatGPT 的技術進展情況。很難對這兩個系統進行比較，它們可能各有所長。比如說，一個能夠解決物理學問題、撰寫童話故事、給 CEO 寫信的神經網絡在某些方面做得更好，而在其他方面稍顯遜色，那么總體來看，這個系統該說它“更好”，還是“更差”呢？IT之家注：Yandex 的大模型產品于今年 5 月首發亮相，包含聊天機器人、AI 助手，能夠生成、重構或匯總基于文本內容的信息，并可解決其他業務有關問題。今年 9 月，該公司推出了這款大模型產品的升級版 ——YandexGPT 2，號稱能夠解決更多問題，用于更多場景，提供更加精確的答案。 ———————End——————— 點擊閱讀原文進入官網

原文標題：【AI簡報20230915期】耗水量激增！AI競賽變得更為困難，AI數據需要AI解決方案

文章出處：【微信公眾號：RTThread 物聯網操作系統】歡迎添加關注！文章轉載請注明出處。

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。舉報投訴