一、方案原理

常規(guī)的Documentum遷移工具，如圖1所示EMC原廠提供的EMA（Documentum Enterprise Migration Appliance）遷移工具，通常通過(guò)繞開Documentum的內(nèi)容服務(wù)器API接口，根據(jù)Documentum內(nèi)部文件對(duì)象索引規(guī)則直接訪問(wèn)數(shù)據(jù)庫(kù)和NAS服務(wù)器來(lái)加速Documentum遷移過(guò)程，性能相比于通過(guò)API接口遷移能夠提升10倍，但是每個(gè)小時(shí)也只能搬遷120萬(wàn)對(duì)象，如果Documentum存儲(chǔ)了10億文件對(duì)象，刨去其他工作或者異常處理的時(shí)間，最短也需要35天時(shí)間，這是一個(gè)充滿風(fēng)險(xiǎn)和不可控因素的過(guò)程，另外因?yàn)閼?yīng)用側(cè)不可能停機(jī)等待35天，所以應(yīng)用側(cè)必須改造業(yè)務(wù)支持同時(shí)從兩邊去讀寫數(shù)據(jù)，增大了業(yè)務(wù)改造工作量和業(yè)務(wù)代碼的復(fù)雜度。

如圖2所示，杉巖提供的Documentum遷移方案，同樣通過(guò)直接訪問(wèn)Documentum的數(shù)據(jù)庫(kù)獲取文件的元數(shù)據(jù)和索引信息來(lái)提高遷移性能，另外基于NAS納管特性，針對(duì)歷史存量數(shù)據(jù)，在業(yè)務(wù)無(wú)需停機(jī)的情況下短時(shí)間內(nèi)完成歷史存量數(shù)據(jù)的納管，然后在業(yè)務(wù)切割的極短時(shí)間窗口內(nèi)，基于數(shù)據(jù)庫(kù)時(shí)間戳快速完成增量數(shù)據(jù)的納管，此時(shí)上層業(yè)務(wù)即可立即恢復(fù)正常服務(wù)，整個(gè)業(yè)務(wù)切換完成。

圖2 Documentum遷移時(shí)間線

業(yè)務(wù)切割后影像系統(tǒng)數(shù)據(jù)訪問(wèn)流程示意圖

業(yè)務(wù)切割到SandStone MOS完成后，整個(gè)影像系統(tǒng)訪問(wèn)NAS和SandStone MOS的數(shù)據(jù)流程如圖3所示：

所有新的文件保存到SandStone MOS，歷史文件數(shù)據(jù)的讀取由對(duì)象網(wǎng)關(guān)服務(wù)層自動(dòng)代理到NAS；

業(yè)務(wù)在線的情況下，管理員通過(guò)SandStone MOS生命周期轉(zhuǎn)移特性，設(shè)置NAS數(shù)據(jù)轉(zhuǎn)移到SandStoneMOS的具體時(shí)間點(diǎn)和策略，SandStone MOS將自動(dòng)完成全量NAS文件到自身的搬遷。

二、 業(yè)務(wù)接口改造

影像平臺(tái)使用Documentum，通過(guò)Documentum提供的HTTP方式的API接口完成增刪改查操作，SandStone MOS提供的S3接口同樣屬于HTTP方式的API，所以業(yè)務(wù)系統(tǒng)改造只需要從原來(lái)的Documentum接口改為調(diào)用SandStone MOS提供的標(biāo)準(zhǔn)S3接口即可。原有的方式是：影像系統(tǒng)通過(guò)Documentum API對(duì)數(shù)據(jù)進(jìn)行檢索，得到文件的r_object_id，進(jìn)而根據(jù)r_object_id獲取文件。數(shù)據(jù)完成遷移之后：影像系統(tǒng)通過(guò)MOS提供的檢索接口檢索對(duì)象，得到對(duì)象名，進(jìn)而根據(jù)對(duì)象名稱獲取對(duì)象。

三 業(yè)務(wù)切割關(guān)鍵問(wèn)題

1、 NAS納管性能

NAS文件納管的過(guò)程中，從Documentum的數(shù)據(jù)庫(kù)查詢文件的元數(shù)據(jù)和索引信息，然后將文件索引以及標(biāo)簽信息一并寫入到SandStone MOS，Oracle 數(shù)據(jù)庫(kù)的查詢性能一般比存儲(chǔ)系統(tǒng)寫入的性能高，存在數(shù)量級(jí)的差別，所以NAS文件納管的速度主要瓶頸在存儲(chǔ)系統(tǒng)。

參考杉巖實(shí)驗(yàn)室測(cè)試報(bào)告數(shù)據(jù)，4節(jié)點(diǎn)環(huán)境8KB文件的寫入TPS可以達(dá)到5000，因?yàn)镹AS納管的過(guò)程中業(yè)務(wù)尚未切割到SandStone MOS，所以所有寫性能全部可以分配給到NAS作業(yè)，也就是納管的性能參考指標(biāo)為： 5000/s （具體值需要根據(jù)上線方案配置計(jì)算，一般會(huì)更高）。

2、 數(shù)據(jù)存量

XX銀行當(dāng)前影像系統(tǒng)的文件主要以50KB以下，以及50~900KB的文件為主，整套系統(tǒng)的數(shù)據(jù)量在300~400TB的體量，全國(guó)30多個(gè)分支銀行，每個(gè)分支每年視頻監(jiān)控?cái)?shù)據(jù)在50~60TB左右。

3、切割時(shí)間估算

假設(shè)存量數(shù)據(jù)總量按照300TB，平均200KB大小，總共大概是16億個(gè)文件，按照5000/s的速度，那么如圖4所示：

存量數(shù)據(jù)的納管需要89小時(shí)，大概4天完成；

存量數(shù)據(jù)納管的這4天內(nèi)，業(yè)務(wù)數(shù)據(jù)增量為(30*50TB)/365 = 4.1TB，增量文件數(shù)量大概是2200萬(wàn)

2200萬(wàn)增量數(shù)據(jù)的納管需要1.2小時(shí)，也就是業(yè)務(wù)切割時(shí)需要停機(jī)的時(shí)間，加上其他操作時(shí)間，預(yù)計(jì)2小時(shí)可以完成。

圖4 業(yè)務(wù)切割時(shí)間線

4、 失敗回滾

假如業(yè)務(wù)切割到SandStone MOS上之后，驗(yàn)收測(cè)試發(fā)現(xiàn)異常需要處理，可以立即回滾業(yè)務(wù)系統(tǒng)，切回Documentum，因?yàn)閷?shí)際數(shù)據(jù)和元數(shù)據(jù)都沒(méi)有刪除掉，整個(gè)系統(tǒng)能夠立即恢復(fù)服務(wù)，風(fēng)險(xiǎn)小。

四、完整遷移步驟

1、準(zhǔn)備工作

如圖所示，保證Documentum的DB和NAS服務(wù)可以正常訪問(wèn)，業(yè)務(wù)系統(tǒng)正常運(yùn)行，部署好SandStone MOS分布式對(duì)象存儲(chǔ)可用。

2、存量數(shù)據(jù)納管

無(wú)需停業(yè)務(wù)，保持業(yè)務(wù)正常在線。

記錄當(dāng)前時(shí)間點(diǎn)T1，通過(guò)遷移工具從數(shù)據(jù)庫(kù)讀取T1時(shí)間點(diǎn)及之前的文件元數(shù)據(jù)及索引一并寫入SandStone MOS，完成存量NAS文件的納管工作，預(yù)計(jì)花費(fèi)時(shí)間4天。

3 業(yè)務(wù)停機(jī)

業(yè)務(wù)切割過(guò)程開始，記錄當(dāng)前時(shí)間點(diǎn)T2，停掉業(yè)務(wù)程序。

4、 增量數(shù)據(jù)納管

完成T1到T2時(shí)間點(diǎn)新增數(shù)據(jù)文檔的納管，預(yù)計(jì)花費(fèi)時(shí)間2小時(shí)。

5、 業(yè)務(wù)切換

此時(shí)所有Documentum文件數(shù)據(jù)通過(guò)SandStone MOS均可以統(tǒng)一訪問(wèn)，執(zhí)行業(yè)務(wù)程序切換動(dòng)作，將業(yè)務(wù)流量指向SandStone MOS。

6 業(yè)務(wù)恢復(fù)

啟動(dòng)新的業(yè)務(wù)程序，執(zhí)行功能驗(yàn)證測(cè)試，如果失敗則執(zhí)行回滾操作，如果驗(yàn)證測(cè)試成功表明業(yè)務(wù)切割成功，整個(gè)遷移過(guò)程結(jié)束。

五 后期內(nèi)容搬遷

1、數(shù)據(jù)正確性

SandStone MOS內(nèi)置生命周期轉(zhuǎn)移NAS文件的過(guò)程中，會(huì)自動(dòng)對(duì)遷移完成的文件做MD5值校驗(yàn)，從而保證數(shù)據(jù)的完整性和正確性。

2、平滑遷移QoS

NAS文件搬遷的過(guò)程中為了防止對(duì)正常業(yè)務(wù)造成性能影響，SandStone MOS支持生命周期轉(zhuǎn)移QoS控制功能，可以根據(jù)業(yè)務(wù)性能需求以及系統(tǒng)性能做合理調(diào)配，優(yōu)先保證業(yè)務(wù)訪問(wèn)性能的前提下，最大化數(shù)據(jù)搬遷效率。

3、數(shù)據(jù)搬遷周期

業(yè)務(wù)切割成功之后，所有的新文件都直接寫入SandStone MOS，所以后續(xù)需要搬遷的NAS文件數(shù)量是固定的，按照16億計(jì)算，然后搬遷的生命周期轉(zhuǎn)移QoS控制TPS為500，那么需要40天的搬遷時(shí)間，具體需要根據(jù)生產(chǎn)環(huán)境配置調(diào)整。

六、總結(jié)

面對(duì)XX銀行上10億的Documentum存量數(shù)據(jù)，EMC原廠提供的遷移方案需要超過(guò)一個(gè)月的遷移時(shí)間，工作量大、周期長(zhǎng)，幾乎不可行。

杉巖數(shù)據(jù)提供的Documentum遷移方案，結(jié)合SandStone MOS特有的NAS納管特性，只需要4天的時(shí)間完成存量數(shù)據(jù)納管以及2小時(shí)的停機(jī)時(shí)間窗完成增量納管以及業(yè)務(wù)切割，極大簡(jiǎn)化了Documentum向?qū)ο蟠鎯?chǔ)遷移的業(yè)務(wù)復(fù)雜度，減輕應(yīng)用改造和遷移工作量，能夠滿足XX銀行Documentum遷移需求。