距離 2022 年 10 月 27 日馬斯克以 440 億美元完成 Twitter(現更名為 X 平臺)私有化交易已然過去整整一年的時間。這一年里,馬斯克大刀闊斧地改革,譬如?大裁員、重構 Twitter 2.0、下場親測各種功能、要求員工到辦公室上班....?..種種操作之下,不斷地刷新了外界對于這位 CEO 以及最新 X 平臺的認知。
更讓人稱奇的是,Twitter 在曾經有大約 8000 名員工,現如今只有 2000 名不到的情況下,平臺依然運行良好,還上線了不少新的功能,這究竟是怎么做到的?
2023 年 10 月 27 日,X 平臺的工程團隊最新發布了一篇長帖透露了該平臺運行的現狀,以及其逆風而行之下采取的“下云”實踐。短時間之內,這篇帖子已經吸引了 3618 萬的關注度,更引發了數千條的評論。
馬斯克以 440 億收購 X 平臺這一年
在這篇帖子中,X 平臺工程團隊表示,“這一年 X 平臺實現了工程卓越性進步,有時可能會被忽視”,進而其回顧了過去一年這個知名社交媒體平臺在架構上所做出的改變。
詳細來看,X 平臺內部進行的一些最重要的改進如下:
圍繞一個統一的產品框架,整合了"For You"、"Following"、"Search"、"Profiles"、"Lists"、"Communities"和"Explore"的技術堆棧。
從頭開始完全重建了"For You"的服務和排名系統,導致代碼行數減少了90%,從 70 萬行減少到 7 萬行,計算占用減少了 50%,每次請求中評分的帖子吞吐量增加了 80%。
統一了"For You"和視頻個性化以及排名模型,顯著提高了視頻推薦質量。
重構了技術堆棧的 API 中間件層,簡化了架構,去掉了超過 10 萬行代碼和數千個未使用的內部端點,并消除了未被采納的客戶服務。
將帖子元數據獲取延遲降低了 50%,全球 API 超時錯誤降低了 90%。
阻止了機器人和內容抓取,速度比 2022 年增加了 37%。平均每天我們阻止了 100 多萬次機器人注冊攻擊,減少了 95% 的直接消息垃圾郵件。
關閉了薩克拉門托數據中心,重新配置了 5200 個機架和 14.8 萬臺服務器,帶來了每年超過 1 億美元的節省??偣?,X 平臺釋放了 48 兆瓦的容量,重新配置了 60,000 磅的網絡梯架,然后將其提供給其他數據中心。
優化了 X 平臺對云服務提供商的使用,并開始更多地在本地進行。這一轉變使 X 平臺的月度云成本降低了 60%。X 平臺的工程團隊所做的變化之一是將所有媒體/數據塊工件從云中移出,這將其云數據存儲大小降低了 60%,另外,該團隊成功地將云數據處理成本降低了 75%。
建立了本地 GPU 超級計算集群,設計、開發并交付了 43.2Tbps 的新網絡結構,以支持這些集群。
擴展了網絡主干容量和冗余性,每年節省了 1390 萬美元。
開始自動化的高峰流量故障轉移測試,以持續驗證整個平臺的可擴展性和可用性。
在上述所做的 11 項調整列表中,最吸引人注目的無疑是 X 平臺開始嘗試“下云”帶來的成本變化。
回顧技術圈的發展歷程,隨著互聯網的普及、虛擬化技術的發展、大數據和分布式計算需求的涌現,越來越多的傳統企業開始轉型,采用按需的方式付費,避免了昂貴的硬件和基礎設施投資,這使小型和中型企業能夠以更低的成本獲得彈性計算資源,上云由此也成為技術演進的一種必然趨勢。
然而,就在上云如火如荼地進行了十多年之后,綜合成本控制、數據隱私、安全性或者業務需求的改變等因素,一股“下云”的風潮悄然刮起,如今 X 平臺便是最新實踐者之一。
節省資金,X 平臺選擇“下云”
事實上,“上云”亦或是“下云”,究竟是節約成本,還是增加成本,主要是因企業規模的不同而具有差異化,對于 X 平臺而言,在今年早些時候,外媒 CloudZero 曾做過剖析。
其中,Twitter(現為 X 平臺)在 2020 年 12 月宣布將使用 AWS 為其主時間線提供支持。當時,只知道兩家公司簽訂了一份“多年期”協議,即 Twitter 和AWS 將合作擴展社交媒體平臺的基礎設施、更快地發布功能并擴大其服務組合等,但其并沒有對外透露過具體合作協議的數額。
直至今年 3 月,The Information 在一篇報道中披露,Twitter 和 AWS雙方簽訂了一份為期五年半、價值 5.1 億美元的合同。除了與 AWS 簽訂協議之外,更早之前,Twitter 還和 Google Cloud 簽訂了一份價值 10 億美元的合同。
同時,按照原來的協議,無論 Twitter 是否使用 AWS 的容量,其都同意向亞馬遜支付費用。
然而,一切在馬斯克接管 Twitter 之后,發生了巨大的變化。馬斯克后來在梳理 Twitter 整體業務時,驚訝地發現 Twitter 現金流為負、仍未實現盈利,這也才有了文章伊始所提及他對 Twitter 做的一系列調整,并盡可能地去節約成本,自然云基礎設施的成本也在考慮范疇。
后來,Twitter 關閉了在收到過多流量時使用的一些額外服務器容量,也嘗試與 AWS、Google Cloud 和 Oracle 重新談判有關云服務的合同,但有消息稱,供應商不愿意重新談判。對此,外媒 The Information 也爆料稱,那時的 Twitter 共拖欠亞馬遜 AWS 近 7000 萬美元服務費。
當然,對于這筆資金,Twitter 是否有償還尚未可知。但是通過其工程團隊的最新推文,顯然 Twitter 已經通過了「下云」節省了一筆不菲的資金支出。
“下云”真的能省錢嗎?
面對 X 平臺公開“下云”帶來的最新成本變化,被視為軟件天才的Ruby on Rails創始人DAVID HEINEMEIER HANSSON(簡稱 DHH)在第一時間發表了一篇《X celebrates 60% savings from cloud exit》(X 慶祝退出云后節省了 60%)的文章,他評價道:
「X 平臺已經將 #CloudExit 作為其節約成本計劃的關鍵組成部分。X 平臺通過將工作從云端轉移到他們自己的服務器上,每月的云成本降低了 60%。根據早期的報告,X 每年向 AWS 支付 1 億美元,所以如果我們以這個數字為基礎,他們目前正在云退出成就上節省 6000 萬美元/年。太不可思議了!
......
CFO 和投資者不會對此視而不見。如果像馬斯克正在證明的那樣,可以用四分之一的員工運營像 X 這樣的操作,并且仍然能夠從"下云"中獲得巨大利潤,那么你就知道在許多情況下,大多數大型公司離開云計算都有巨大的節約等待著被釋放?!?/p>
作為“下云”深度支持者,DHH 在今年 2 月便聲稱,自家應用程序在“下云”之后,預估將正在未來五年內節省約 700 萬美元的服務器費用,而不用改變現有的運維團隊規模。
為了詳細說明,他還算了一筆賬:
在 2022 年,其在云上花費了 320 萬美元。其中將近 100 萬美元用于在 S3 中存儲 8PB 的文件,完全在多個區域進行了復制。剩下的約 230 萬美元用于其他一切:應用服務器、緩存服務器、數據庫服務器、搜索服務器等等。
這是其打算在 2023 年將云成本降至零的部分,并考慮在 2024 年退出 S3 中的 8PB 數據。
在經過深思熟慮、許多基準測試以及對 AMD 的新 Zen4 芯片與 Gen 4 NVMe 驅動速度考量之后,其打算向戴爾下訂單,大約 60 萬美元左右。
在云計算時代,花 60 萬美元購買一堆硬件可能聽起來很多。但如果在保守的五年內攤銷,每年只需 12 萬美元!
當然,這只是硬件的費用。它們還必須連接到電源和帶寬。其目前通過 Deft 在兩個數據中心之間每月花費大約 6 萬美元來租用八個專用機架。然后,故意過度配置了空間,因此實際上只需要將所有這些新服務器放在現有機架中,而不需要更多的空間或電源。因此,支出仍然約為 72 萬美元/年。
這總共是每年 84 萬美元的費用。與云計算的 230 萬美元相比,其將擁有更快速的硬件、更多的核心、極為便宜的 NVMe 存儲,以及以非常低的成本擴展的空間(只要我們仍然可以放入每個數據中心的四個機架中)。
粗略地說,這可以讓其每年節省 150 萬美元。在此期間留出 50 萬美元用于不可預見的費用,五年內仍然節省了 700 萬美元!
與此同時,DHH 表示,#CloudExit 很可能正處于走向主流的關鍵時刻。
“下云”是控制成本最有效的方式?
不過,對于現在不少還處于云業務轉型過程中、以及從“云”種受益的很多公司而言,其無法認同“下云”的這一步操作。來自 HN 上的用戶更是直言:
譬如 X 平臺,他們在云計算上的花費減少了 60%,在本地完成了同樣的工作,而成本卻沒有說明。而他們(和 DHH)顯然認為,在描述他們的成就時,成本核算(即使是模糊和初步的方式)并不重要。
也有用戶 @HillRat 認為:
Twitter 確實與 GCP(Google云端平臺 ,Google Cloud Platform)簽訂了一份非常糟糕的固定成本合同,導致他們有大量未使用的云容量,而這些云容量的價格卻過高。關閉數據中心可能會給他們留下大量的資本化設備,他們可以將 GCP 托管的數據處理轉移到這些設備上。
換句話說,這些節省可能并非來自實際的技術效率,而只是擺脫了糟糕的合同狀況,并利用了大量已經獲得的硬件。(此外,X/Twitter 可能也無法使用 Twitter 所要求的報告和分析基礎設施,因此關閉這些設施在業務流程上也不會有太大損失)。
對此,你怎么看待“上云”vs“下云”的趨勢?
-
代碼
+關注
關注
30文章
4744瀏覽量
68345 -
云數據
+關注
關注
0文章
116瀏覽量
16592 -
馬斯克
+關注
關注
1文章
800瀏覽量
21323
原文標題:瘋狂馬斯克“下云”:X 成本降低 60%,部分功能代碼從 70 萬行減少至 7 萬!
文章出處:【微信號:LinuxHub,微信公眾號:Linux愛好者】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論