適用于 Apache Spark 的 RAPIDS 加速器可以幫助公司提升性能并保護環(huán)境。

各大公司正在研究加速計算如何能提升它們的基準性能，同時還能給地球帶來積極影響。

適用于 Apache Spark 的 NVIDIA RAPIDS 加速器軟件可以加速數(shù)據(jù)分析，不僅能提升性能、降低成本，還可以提升能效。這意味著它可以幫助公司實現(xiàn)溫室氣體（如二氧化碳）零排放的目標。

一項新的基準測試表明，RAPIDS 加速器能讓一家公司減少多達 80% 碳足跡，同時將計算速度平均提升五倍，計算成本降低 4 倍。

許多公司都能從這一技術(shù)中獲益。包括 80% 的世界五百強在內(nèi)的數(shù)千家公司，都在采用 Apache Spark 來分析它們?nèi)找嬖鲩L的數(shù)據(jù)。

事實上，如果每家采用 Apache Spark 的公司都使用 RAPIDS 加速器，他們每年可共計減少 7.8 公噸的二氧化碳排放，減排效果相當于一輛車使用 878 加侖汽油所產(chǎn)生的排放量。這很好地證明了綠色計算科技能夠?qū)箽夂蜃兓?/p>

人類面臨的挑戰(zhàn)

據(jù)聯(lián)合國，超過 70 個國家已經(jīng)為溫室氣體排放設(shè)定了一個凈零目標。聯(lián)合國將“向凈零排放轉(zhuǎn)型”描述為“人類目前面臨的最大的挑戰(zhàn)之一”。

許多公司正在為此做出自身的貢獻。

例如，NVIDIA 正在與一家大型金融服務公司合作，測試將 Apache Spark 應用到實時欺詐保護中。該公司希望借助加速計算降低碳足跡，并與 Net-Zero Banking Alliance 等組織通力合作。

5月份，世界上最大的 AI 超級計算機之一證實了加速計算能提高能效。

在四個熱門的科學應用中，位于美國國家能源研究科學計算中心（NERSC）的 Perlmutter 系統(tǒng)的能效平均提升了五倍，這要歸功于 NVIDIA A100 Tensor Core GPU 。與使用 CPU 相比，一個天氣預報應用實現(xiàn)了 9.8 倍加速。

NERSC 應用程序通過加速計算實現(xiàn)了效率提升

AT&T 接入 RAPIDS 加速器

美國電話電報公司（AT&T）、Adobe 和美國聯(lián)邦稅務局（IRS）等組織已經(jīng)發(fā)現(xiàn)了 RAPIDS 加速器的性能和成本優(yōu)勢。

在去年的一次測試中，AT&T 僅用五個小時就處理了一個月的移動數(shù)據(jù)——足有 2.8 萬億行信息。這比以往的任何測試都要快 3.3 倍，而成本降低了 60%。

AT&T 的 AI 架構(gòu)師 Abhay Dabholkar 在一篇博客中寫道：“這一結(jié)果令人振奮，因為如果是用 CPU 集群，僅僅是七天的數(shù)據(jù)就需要處理超過 48 小時——曾經(jīng)，我們手握數(shù)據(jù)，但卻由于處理時間太長而無法使用它。”

“如果一項任務耗時太長，而且數(shù)據(jù)太多，那么我們建議轉(zhuǎn)向 GPU ，并借助 Spark ，CPU 上運行的代碼也可以在 GPU 上運行。”他補充說。

Adobe 加速服務

Adobe 在其 Intelligent Services 平臺上使用了加速計算，幫助市場營銷團隊用 AI 來加速分析。

他們發(fā)現(xiàn)，使用 RAPIDS 加速器時，單個 NVIDIA GPU 節(jié)點的性能可以比 16 個節(jié)點的 CPU 集群高出 33% ，同時將計算成本降低 70% 。

在另一個訓練 AI 模型的測試中，使用搭載 GPU 加速的RAPIDS 庫將速度提高了 7 倍，與在 CPU 上運行的同一任務相比，其成本節(jié)省了 90% 。

Adobe 的機器學習工程師張磊在 GTC 大會發(fā)表的演講中表示：“這能極大節(jié)省成本，提升速度，真是令人震驚。”

Spark 帶來 20 倍的提升

CPU 的性能不足以處理分析所需的 3TB 以上的數(shù)據(jù)集，因此 IRS 轉(zhuǎn)向了 RAPIDS 加速器。

一個由 GPU 驅(qū)動的服務器組成的 Spark 集群能夠處理這些數(shù)據(jù)負載，并為處理更大的數(shù)據(jù)集開啟了一扇門。

IRS 研究和應用分析與統(tǒng)計部門技術(shù)主管 Joe Ansaldi 在一篇博客中表示：“我們目前正在實施這一整合，我們的數(shù)據(jù)工程和數(shù)據(jù)科學工作流程以一半的成本實現(xiàn)了超過 20 倍的速度提升。”

如何邁出第一步

提升性能和減少成本的程度在不同的工作負載中有所不同。正因為此，NVIDIA 推出了一款加速的 Spark 分析工具。

該工具向用戶展示了 RAPIDS 加速器在無需更改任何代碼的情況下，在他們的應用程序上可以實現(xiàn)怎樣的提升。該工具還能幫助用戶對 GPU 加速進行微調(diào)，以在他們的工作負載上獲得最佳效果。

一旦 RAPIDS 加速器提高了關(guān)鍵性能，公司就可以計算節(jié)省的能源，并報告他們在保護地球方面所取得的進展。

觀看下方視頻以了解 Cloudera 數(shù)據(jù)平臺如何用適用于 Apache Spark 的 RAPIDS 加速器提速 44 倍。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行，線上大會也將同期開放。點擊“閱讀原文”或掃描下方海報二維碼，關(guān)注更多會議及活動信息。