文/李晉

西部數(shù)據(jù)公司副總裁兼中國(guó)區(qū)業(yè)務(wù)總經(jīng)理劉鋼

“預(yù)計(jì)到2024年，以HDD為代表的大數(shù)據(jù)將增長(zhǎng)到1.62ZB，平均年復(fù)合增長(zhǎng)率約為30%；以SSD為衡量標(biāo)志的快數(shù)據(jù)將達(dá)到333EB，平均年復(fù)合增長(zhǎng)率接近50%。但與當(dāng)年143ZB的數(shù)據(jù)總量相比，僅有不到1.5%的數(shù)據(jù)被存儲(chǔ)下來。”

在近日的“2021深圳國(guó)際大數(shù)據(jù)與存儲(chǔ)峰會(huì)暨展覽會(huì)”上，西部數(shù)據(jù)公司副總裁兼中國(guó)區(qū)業(yè)務(wù)總經(jīng)理劉鋼指出存儲(chǔ)領(lǐng)域正面臨的困境。在他看來，當(dāng)前的存儲(chǔ)架構(gòu)和技術(shù)并未跟上數(shù)據(jù)的爆發(fā)，而通過創(chuàng)新的存儲(chǔ)架構(gòu)可極大地緩解這種局面。

峰會(huì)現(xiàn)場(chǎng)西部數(shù)據(jù)展臺(tái)

大數(shù)據(jù)存儲(chǔ)困境：存儲(chǔ)架構(gòu)和技術(shù)未跟上數(shù)據(jù)發(fā)展

“數(shù)據(jù)產(chǎn)生的速度過快”與“被存儲(chǔ)的數(shù)據(jù)十分有限”之間的矛盾，依舊是存儲(chǔ)產(chǎn)業(yè)需要正視的問題。劉鋼援引了兩組數(shù)據(jù)介紹說，預(yù)計(jì)到2024年，以HDD為代表的大數(shù)據(jù)將增長(zhǎng)到1.62ZB，平均年復(fù)合增長(zhǎng)率約為30%。除了把數(shù)據(jù)存儲(chǔ)下來之外，還有一部分是以SSD作為衡量標(biāo)志，并對(duì)數(shù)據(jù)進(jìn)行挖掘、計(jì)算的快數(shù)據(jù)。2024年，快數(shù)據(jù)將達(dá)到333EB，平均年復(fù)合增長(zhǎng)率接近50%。大數(shù)據(jù)與快數(shù)據(jù)的總量相加約2ZB，而當(dāng)年的數(shù)據(jù)總量將達(dá)到142ZB，這意味著僅有不到1.5%的數(shù)據(jù)會(huì)被存儲(chǔ)下來。

“在數(shù)字經(jīng)濟(jì)時(shí)代，數(shù)據(jù)猶如石油，是發(fā)展的源動(dòng)力。為什么那么多寶貴的‘石油’或資源沒有被存儲(chǔ)、挖掘和分析？一個(gè)重要的原因是，存儲(chǔ)架構(gòu)和存儲(chǔ)技術(shù)沒有及時(shí)地跟上數(shù)據(jù)的發(fā)展，以至于很多數(shù)據(jù)被白白的浪費(fèi)。因此，我們需要一個(gè)創(chuàng)新的存儲(chǔ)架構(gòu)，為更多的數(shù)據(jù)提供存儲(chǔ)及快速訪問。存儲(chǔ)行業(yè)正面臨幾個(gè)挑戰(zhàn)——用戶渴求大容量、快速訪問、低成本、低功耗的存儲(chǔ)，但很難有單一存儲(chǔ)介質(zhì)、存儲(chǔ)設(shè)備能同時(shí)滿足些需求。”劉鋼感慨說。

值得慶幸的是，由于用戶數(shù)據(jù)要進(jìn)行分層，且這些數(shù)據(jù)有不同的類型，它對(duì)存儲(chǔ)的要求也不一致。企業(yè)可以通過把創(chuàng)新的存儲(chǔ)架構(gòu)作為系統(tǒng)，來滿足用戶各種存儲(chǔ)場(chǎng)景的需求。

IPFS存儲(chǔ)架構(gòu)有什么優(yōu)勢(shì)？

“創(chuàng)新的存儲(chǔ)架構(gòu)，包含分布式存儲(chǔ)架構(gòu)。”劉鋼解釋說，存儲(chǔ)架構(gòu)既有中心化的云存儲(chǔ)，也有去中心化的分布式存儲(chǔ)。例如，基于Web3.0、IPFS（Inter Planetary File System，星際文件系統(tǒng)）存儲(chǔ)架構(gòu)的存儲(chǔ)就是去中心化的分布式存儲(chǔ)，這類存儲(chǔ)可憑借新的存儲(chǔ)架構(gòu)來降低部署及運(yùn)營(yíng)成本。

在應(yīng)用方面，去中心化的IPFS可降低目前基于中心化的云存儲(chǔ)的成本。在云存儲(chǔ)的服務(wù)費(fèi)用的成本構(gòu)成有什么特點(diǎn)？其實(shí)，最初云存儲(chǔ)領(lǐng)域有一個(gè)分布式去中心化存儲(chǔ)架構(gòu)叫做Storj，用戶可在網(wǎng)上購(gòu)買相應(yīng)的服務(wù)。而IPFS存儲(chǔ)架構(gòu)的出現(xiàn)，進(jìn)一步優(yōu)化了云存儲(chǔ)的去中心化，節(jié)省了企業(yè)的服務(wù)提供成本。

·分層存儲(chǔ)的概念

除了IPFS存儲(chǔ)架構(gòu)之外，西部數(shù)據(jù)根據(jù)數(shù)據(jù)被訪問的頻率，大致分為了五類：極熱數(shù)據(jù)、熱數(shù)據(jù)、溫?cái)?shù)據(jù)、冷數(shù)據(jù)和極冷數(shù)據(jù)。針對(duì)不同的數(shù)據(jù)，所要采用的存儲(chǔ)介質(zhì)和存儲(chǔ)設(shè)備也不同，這樣才能既保證海量大數(shù)據(jù)的存儲(chǔ)，也滿足對(duì)快數(shù)據(jù)的快速訪問。由于不同數(shù)據(jù)對(duì)時(shí)延和容量的要求也不同，西部數(shù)據(jù)還為不同的數(shù)據(jù)劃分了相應(yīng)的應(yīng)用場(chǎng)景。從訪問頻次的高到低，對(duì)應(yīng)的存儲(chǔ)類型可分為：極熱存儲(chǔ)、熱存儲(chǔ)、溫存儲(chǔ)、冷存儲(chǔ)和極冷存儲(chǔ)。

在這些分層的存儲(chǔ)應(yīng)用場(chǎng)景中，主要有大數(shù)據(jù)存儲(chǔ)應(yīng)用和快數(shù)據(jù)計(jì)算應(yīng)用兩大類。根據(jù)劉鋼的介紹，大數(shù)據(jù)存儲(chǔ)主要包括極冷存儲(chǔ)和冷存儲(chǔ)，快數(shù)據(jù)計(jì)算主要涉及極熱存儲(chǔ)、熱存儲(chǔ)和溫存儲(chǔ)。西部數(shù)據(jù)在這兩類存儲(chǔ)應(yīng)用中均有完整的產(chǎn)品及方案。

·西部數(shù)據(jù)18T硬盤在大數(shù)據(jù)存儲(chǔ)中的優(yōu)勢(shì)

業(yè)內(nèi)針對(duì)冷存儲(chǔ)和極冷存儲(chǔ)的主流方案，是高密度大容量企業(yè)級(jí)硬盤方案。目前，高密度企業(yè)級(jí)硬盤已經(jīng)發(fā)展到了18T，甚至有的公司針對(duì)極冷存儲(chǔ)，利用軟件與技術(shù)優(yōu)化，采用了SMR疊瓦式硬盤，把高密度企業(yè)硬盤做到了20T。比如，全球領(lǐng)先的云存儲(chǔ)服務(wù)商Dropbox，該公司在去年年底就已經(jīng)遷移到20T SMR HDD上了。

提到SMR，可能會(huì)有一些消費(fèi)者會(huì)質(zhì)疑它的寫入性能、可靠性。對(duì)此，劉鋼在后續(xù)的媒體群訪中解釋說：“16T的硬盤通過改進(jìn)技術(shù)變成18T，如果采用的是SMR技術(shù)，這個(gè)硬盤的容量就會(huì)變成20T。它是通過提高磁軌間的密度來做到的，不過這要求用戶在使用20T SMR高密度硬盤時(shí)在軟件上做一些調(diào)整，保證順序地寫入。一些公司并未留意到這個(gè)細(xì)節(jié)，沒有往這個(gè)方向來做調(diào)整和優(yōu)化，致使一些消費(fèi)者對(duì)SMR技術(shù)有質(zhì)疑。“

按照劉鋼的說法，SMR適用于冷存儲(chǔ)和極冷存儲(chǔ)。它最早的應(yīng)用場(chǎng)景是視頻監(jiān)控，另外還能存儲(chǔ)網(wǎng)店的數(shù)據(jù)、金融的票據(jù)、括醫(yī)療的數(shù)據(jù)，以上的數(shù)據(jù)都可能是極冷數(shù)據(jù)。現(xiàn)在已經(jīng)有很多云服務(wù)商在積極部署SMR。

劉鋼現(xiàn)場(chǎng)展示了西部數(shù)據(jù)企業(yè)級(jí)硬盤

在過去幾個(gè)季度，18T硬盤的良率有了較大的改善，無論是互聯(lián)網(wǎng)服務(wù)商，還是IPFS服務(wù)商，部署18T已是大勢(shì)所趨。劉鋼在現(xiàn)場(chǎng)展示了西部數(shù)據(jù)的18T硬盤，他介紹說：“從去年第四季度開始被快速部署，到2021年Q1頭部互聯(lián)網(wǎng)服務(wù)商快速驗(yàn)證、測(cè)試。2021年Q2開始，很多IPFS公司和云服務(wù)商已經(jīng)考慮把數(shù)據(jù)遷移到18T高密度硬盤上，甚至有些高密度極致需求的用戶還覺得18T硬盤不夠用。今年下半年，我們將提供20T硬盤，已經(jīng)有企業(yè)在測(cè)試、驗(yàn)證中，預(yù)計(jì)從明年開始進(jìn)行部署。”

值得強(qiáng)調(diào)的是，頭部云服務(wù)商所使用的硬盤從8T進(jìn)化到18T，花費(fèi)了整整四年時(shí)間（2017-2021年），而IPFS服務(wù)商僅用了四個(gè)季度（2020年Q2-2021年Q2）。IPFS服務(wù)商從8T進(jìn)化到12T、14T、16T，很快就過渡到18T。實(shí)際上，當(dāng)數(shù)據(jù)中心采用的硬盤從14T升級(jí)到18T，在同樣存儲(chǔ)容量的情況下，服務(wù)器的數(shù)量可減少22%，單盤容量增加29%，單位功耗降低21%，其部署成本、運(yùn)維成本也更低。

·西部數(shù)據(jù)SSD產(chǎn)品在快數(shù)據(jù)領(lǐng)域的優(yōu)勢(shì)

西部數(shù)據(jù)針對(duì)快數(shù)據(jù)如熱存儲(chǔ)、溫存儲(chǔ)，有推出過兩款基于96層3D NAND的SSD，其中一款是主流的Ultrastar? DC SN640 NVMe SSD，適用于讀寫均衡的混合型工作負(fù)載應(yīng)用；另一款是寫密集、計(jì)算密集的高性能Ultrastar? DC SN840 NVMe SSD，適用于密集型工作負(fù)載應(yīng)用。此外，西部數(shù)據(jù)還聯(lián)合鎧俠在今年2月推出了162層的第六代3D閃存技術(shù)。

據(jù)劉鋼介紹，西部數(shù)據(jù)與鎧俠提供了全球33%的Flash產(chǎn)能。這兩家公司聯(lián)合推出的第6代3D閃存技術(shù)，比第五代產(chǎn)品的芯片尺寸縮小了40%，側(cè)面單元密度更高，程序性能提高了兩倍以上，讀取延遲縮短了10%，輸入/輸出IOPS提高了66%。

“從材料本身來看，3DNAND的堆疊層數(shù)越高風(fēng)險(xiǎn)就越大，對(duì)工藝和投入的要求越高。在3D NAND 96層之后，很多公司后續(xù)產(chǎn)品的層數(shù)并不一致。“劉鋼特別強(qiáng)調(diào)說，在同一代技術(shù)里，一家公司的3D NAND層數(shù)越少，就代表它的技術(shù)越先進(jìn)，因?yàn)闊o需堆疊太多層，即能滿足閃存的性能需求。西部數(shù)據(jù)在96層之后是112層，而不是120多層，再然后是162層，而不是170或190多層，說明西部數(shù)據(jù)在單位面積上能做到更高的密度。

除了增加層數(shù)之外，存儲(chǔ)密度還有另一種增長(zhǎng)方式：閃存顆粒從TLC變成QLC，甚至變成PLC。實(shí)際上，存儲(chǔ)增長(zhǎng)密度的方式并不是一維的，它既可縱向增長(zhǎng)也可在一個(gè)單元內(nèi)部增長(zhǎng)。“西部數(shù)據(jù)企業(yè)級(jí)SSD具備縱向集成優(yōu)勢(shì)。我們有先進(jìn)的SSD控制器和高性能自主固件將Flash縱向集成，最終能實(shí)現(xiàn)非常穩(wěn)定的一致性。以某大型電商的應(yīng)用為例，他們要求SSD的波動(dòng)范圍不超過10%，用UltrastarTM DC SN640 NVMe SSD測(cè)出來波動(dòng)數(shù)據(jù)是0.11%。”劉鋼表示，對(duì)SSD產(chǎn)品而言，具備穩(wěn)定的一致性極其關(guān)鍵，因?yàn)樗婕暗椒浅６嗟囊蛩亍?/span>

可靠性與生產(chǎn)工藝和硬盤的設(shè)計(jì)、控制有關(guān)。首先，閃存與工藝周期有關(guān)系，如果沒有大規(guī)模的產(chǎn)能，就很難度過產(chǎn)能周期。另外，當(dāng)SSD容量越大，其大部分成本會(huì)在閃存上，控制器、接口成本占的比例會(huì)越來越小，所以產(chǎn)能非常重要；其次，是領(lǐng)先的技術(shù)。企業(yè)需要追求整個(gè)硬盤的性能，而不是僅僅關(guān)注閃存材料的性能、可靠性。基于整體的可靠性，控制器和固件可以進(jìn)行很好的開發(fā)。以上因素就是一家公司能夠做到的縱向整合，只有做到極致地優(yōu)化，才能提供超級(jí)穩(wěn)定的一致性。“只有既熟悉材料，也熟悉控制器，還熟悉框架，才能做到縱向一體的集成。“劉鋼強(qiáng)調(diào)。

總之，西部數(shù)據(jù)能滿足用戶的不同存儲(chǔ)、計(jì)算需求，可提供適用于不同層級(jí)數(shù)據(jù)的存儲(chǔ)產(chǎn)品。無論是大數(shù)據(jù)存儲(chǔ)，還是快數(shù)據(jù)計(jì)算，都有相應(yīng)的產(chǎn)品。如果把這樣的存儲(chǔ)架構(gòu)和存儲(chǔ)技術(shù)，使用到IPFS或Web3.0場(chǎng)景里，會(huì)是什么樣的應(yīng)用？

IPFS服務(wù)商與西部數(shù)據(jù)的產(chǎn)品組合

對(duì)IPFS服務(wù)商而言，現(xiàn)在的存儲(chǔ)方案存在著數(shù)據(jù)吞吐量低，空間利用率低、難擴(kuò)容，總體擁有成本高，運(yùn)維低效，故障懲罰高等痛點(diǎn)。在IPFS層面“存算分離”已經(jīng)是共識(shí)，在計(jì)算集群中，西部數(shù)據(jù)有7.68TB的SSD；在存儲(chǔ)集群中，西部數(shù)據(jù)推薦使用18TB的高密度硬盤，4U60+18T存儲(chǔ)方案與傳統(tǒng)的4U36+16T存儲(chǔ)方案相比，機(jī)柜數(shù)可減少46%、功耗可減少36%，可大規(guī)模降低部署及運(yùn)維成本。

西部數(shù)據(jù)已經(jīng)與合作伙伴共同推出了各種IPFS方案。典型的應(yīng)用案例有：

星辰天合（XSKY）、浪潮聯(lián)合西部數(shù)據(jù)推出了IPFS解決方案，該方案基于西部數(shù)據(jù)的Ultrastar DC HC550 18TB HDD硬盤、浪潮英信服務(wù)器NF5466M5、XSKY的文件存儲(chǔ)系統(tǒng)等關(guān)鍵組件，可實(shí)現(xiàn)快速部署、便捷運(yùn)維。與4U36服務(wù)器+14TB HDD方案相比，4U36+18TB HDD方案能節(jié)省22%的機(jī)柜空間，節(jié)約兩倍以上的硬件資源，降低20%的電源功耗。

杉巖數(shù)據(jù)的MOS海量對(duì)象存儲(chǔ)系統(tǒng)采用了西部數(shù)據(jù)的Ultrastar DC SN840/640 NVMe SSD、Ultrastar DC HC550 HDD和JBOD存儲(chǔ)平臺(tái)。與主流的4U36+16T方案相比，雙方合作的4U60+18T方案可將服務(wù)器節(jié)點(diǎn)數(shù)量降低至原來的47%，節(jié)省了46%的機(jī)柜空間，降低了36%的電源功耗。

長(zhǎng)城超云不僅在存儲(chǔ)集群里使用了西部數(shù)據(jù)的產(chǎn)品，還在計(jì)算集群里使用了Ultrastar DC SN640 NVMe SSD，以此來提高封裝的效率，獲得更高的性能和穩(wěn)定的運(yùn)行。此外，IPFS分布式存儲(chǔ)服務(wù)器制造商靈動(dòng)也在計(jì)算機(jī)群和存儲(chǔ)機(jī)群里采用了適用于快數(shù)據(jù)的7.68T SSD存儲(chǔ)方案和適用于大數(shù)據(jù)的18T高密度硬盤存儲(chǔ)方案。

總而言之，西部數(shù)據(jù)針對(duì)Web3.0或IPFS的基礎(chǔ)設(shè)施架構(gòu)：在存儲(chǔ)集群中，有高密度的磁盤擴(kuò)展柜、大容量的18T硬盤，還有UltrastarTM DC SN640 NVMe SSD來作為緩存。在計(jì)算集群中，有UltrastarTM DC SN640 NVMe SSD、UltrastarTM DC SN840 NVMe SSD寫密集型的SSD產(chǎn)品助力用戶做快速運(yùn)算。

尤其是在計(jì)算集群中，西部數(shù)據(jù)解決了P1和P2的性能瓶頸。劉鋼表示，P1是可以并行的，P2之后是串行的。IPFS服務(wù)商更愿意把P1和P2分開，但因?yàn)镻1和P2節(jié)點(diǎn)之間需要交換大量數(shù)據(jù)，分開之后雖然可以提高計(jì)算性能，但是會(huì)造成數(shù)據(jù)傳輸花費(fèi)很多時(shí)間，這樣其實(shí)是不劃算的。如果所有的服務(wù)器集群共享一個(gè)高速閃存池，兩類服務(wù)器通過NVMe-oF連到高速的閃存池，P1計(jì)算的數(shù)據(jù)在閃存池里，P2可以直接放入，它們可以像訪問本地閃存一樣，訪問高速的資源共享池。對(duì)大規(guī)模的IPFS分布式存儲(chǔ)服務(wù)器制造商來說，當(dāng)他們的節(jié)點(diǎn)達(dá)到100個(gè)PB以上時(shí)，可能需要用這些存儲(chǔ)技術(shù)來優(yōu)化存儲(chǔ)技術(shù)架構(gòu)。

劉鋼在最后也強(qiáng)調(diào)了西部數(shù)據(jù)引以為傲的優(yōu)勢(shì)，也就是擁有全線的多場(chǎng)景的存儲(chǔ)技術(shù)和產(chǎn)品，可提供從芯片到系統(tǒng)的存儲(chǔ)技術(shù)和產(chǎn)品，適用的場(chǎng)景從消費(fèi)者級(jí)的手機(jī)、相機(jī)到個(gè)人電腦、自動(dòng)駕駛汽車，到企業(yè)級(jí)和云端的計(jì)算和存儲(chǔ)節(jié)點(diǎn)。在未來數(shù)據(jù)爆炸式增長(zhǎng)的環(huán)境中，這樣的優(yōu)勢(shì)將為包含企業(yè)客戶的數(shù)據(jù)存儲(chǔ)架構(gòu)、行業(yè)的存儲(chǔ)和一般用戶的個(gè)人存儲(chǔ)提供領(lǐng)先的優(yōu)勢(shì)。