在信息化建設(shè)過程中,由于各業(yè)務(wù)系統(tǒng)建設(shè)和實(shí)施數(shù)據(jù)管理系統(tǒng)的階段性、技術(shù)性以及其它經(jīng)濟(jì)和人為因素等因素影響,導(dǎo)致企業(yè)在發(fā)展過程中積累了大量采用不同存儲(chǔ)方式的業(yè)務(wù)數(shù)據(jù),包括采用的數(shù)據(jù)管理系統(tǒng)也大不相同,從簡(jiǎn)單的文件數(shù)據(jù)庫到復(fù)雜的網(wǎng)絡(luò)數(shù)據(jù)庫,它們構(gòu)成了的多源的異構(gòu)數(shù)據(jù),當(dāng)企業(yè)為完成一項(xiàng)工作,可能需要訪問分布在網(wǎng)絡(luò)不同位置上的多個(gè)數(shù)據(jù)管理系統(tǒng)中的數(shù)據(jù),從而對(duì)企業(yè)對(duì)未來規(guī)劃造成困擾。
整合多源異構(gòu)系統(tǒng)數(shù)據(jù)的目標(biāo)
多源異構(gòu)數(shù)據(jù)整合的目標(biāo)就在于實(shí)現(xiàn)不同結(jié)構(gòu)的數(shù)據(jù)之間的數(shù)據(jù)信息資源、硬件設(shè)備資源和人力資源的合并和共享。其中關(guān)鍵的一點(diǎn)就是以分散的局部的數(shù)據(jù)為基礎(chǔ),通過各種工具和處理邏輯建立全局的統(tǒng)一的數(shù)據(jù)或視圖。
傳統(tǒng)技術(shù)路線:
對(duì)于多源異構(gòu)系統(tǒng)數(shù)據(jù)整合的需求是十分多樣的,比如:數(shù)據(jù)的實(shí)時(shí)無縫對(duì)接或批量對(duì)接、數(shù)據(jù)實(shí)時(shí)或T+1同步、單向數(shù)據(jù)傳輸?shù)取@脗鹘y(tǒng)技術(shù)路線。
可以有以下幾種方式解決:
1.跨平臺(tái),SOAP服務(wù)對(duì)接
SOAP是一種輕量的、簡(jiǎn)單的、基于XML的數(shù)據(jù)交換協(xié)議,它被設(shè)計(jì)成交換結(jié)構(gòu)化或相對(duì)固化的信息。
SOAP服務(wù)具有簡(jiǎn)單、可擴(kuò)展的特點(diǎn),其實(shí)現(xiàn)與廠商、編程語言和具體廠商都沒有關(guān)系。SOAP客戶端發(fā)送一個(gè)請(qǐng)求,調(diào)用相應(yīng)的對(duì)象,然后服務(wù)器返回結(jié)果。這些消息是XML 格式的,封裝成HTTP 協(xié)議,符合任何路由器、防火墻或代理服務(wù)器的要求。SOAP可以使用任何語言來完成,可以在任何操作系統(tǒng)中無需改動(dòng)正常運(yùn)行。因此,SOAP具有強(qiáng)大的網(wǎng)絡(luò)穿透能力,具有廣泛的適應(yīng)性,比較適合當(dāng)前自然資源部門應(yīng)用系統(tǒng)繁多、技術(shù)體系不一、數(shù)據(jù)多源異構(gòu)這一現(xiàn)實(shí)性的應(yīng)用系統(tǒng)和數(shù)據(jù)集成要求。
2.大文件,F(xiàn)TP文件共享
文件傳輸協(xié)議(FTP)雖然是一種非常傳統(tǒng)的數(shù)據(jù)共享和交換技術(shù),但是,在自然資源領(lǐng)域中,針對(duì)遙感圖像、三維地圖、CAD圖紙(Drawing)、激光點(diǎn)云等大數(shù)據(jù)量文件的交互,采用FTP交互方式是最合適不過的了。
只要在應(yīng)用系統(tǒng)之間約定文件服務(wù)器地址、文件命名規(guī)則、文件內(nèi)容格式等參數(shù),通過文件服務(wù)器的文件上傳和下載,即可完成數(shù)據(jù)交互。該方案簡(jiǎn)單實(shí)用,避免了去理解、實(shí)現(xiàn)復(fù)雜網(wǎng)絡(luò)傳輸和網(wǎng)絡(luò)協(xié)議等相關(guān)概念和技術(shù)。
FTP的主要缺點(diǎn)一是安全性較弱,一般依賴于操作系統(tǒng)層級(jí)的文件安全性;二是對(duì)于需要隨機(jī)存取數(shù)據(jù)文件內(nèi)任意指定部分的要求,無法響應(yīng),不夠靈活。
3.關(guān)系型,數(shù)據(jù)庫數(shù)據(jù)共享
自然資源領(lǐng)域涉及到七大關(guān)鍵業(yè)務(wù)環(huán)節(jié),與每個(gè)業(yè)務(wù)環(huán)節(jié)對(duì)應(yīng)的多個(gè)業(yè)務(wù)應(yīng)用系統(tǒng)之間存在大量的數(shù)據(jù)共享交換要求。對(duì)于應(yīng)用系統(tǒng)之間的數(shù)據(jù)交換來說,可以采用共享數(shù)據(jù)庫作為數(shù)據(jù)交換介質(zhì)。
在兩個(gè)應(yīng)用系統(tǒng)間完全互信的情況下,可以直接讀取對(duì)方數(shù)據(jù)庫里的數(shù)據(jù)。通常情況下,每個(gè)應(yīng)用系統(tǒng)對(duì)于數(shù)據(jù)的保密性、安全性都有一定的要求,不允許隨便開放給其他應(yīng)用系統(tǒng)直接存取。在這種情況下,可以通過建立第三方公共交換庫,通過該庫實(shí)現(xiàn)應(yīng)用系統(tǒng)間的數(shù)據(jù)共享交換。
相比文件傳輸方式(FTP)來說,因?yàn)槭褂玫耐粋€(gè)共享數(shù)據(jù)庫,交互更加簡(jiǎn)單。而且,數(shù)據(jù)庫管理系統(tǒng)可以提供相當(dāng)多的數(shù)據(jù)操作,比如復(fù)雜的條件查詢、更新、回滾等,交互方式比較靈活。通過數(shù)據(jù)庫的事務(wù)機(jī)制,可以保證數(shù)據(jù)交換的可靠性。
4.異步,消息隊(duì)列通訊以及數(shù)據(jù)抽取-轉(zhuǎn)換-加載(ETL)
消息隊(duì)列是更加松耦合、靈活、可靠的應(yīng)用系統(tǒng)集成和數(shù)據(jù)交換共享技術(shù)。通過引入消息中間件,在所有應(yīng)用系統(tǒng)之間建立起可實(shí)現(xiàn)消息傳輸、路由、過濾、增強(qiáng)、錯(cuò)誤捕獲和處理的消息傳輸機(jī)制,由消息隊(duì)列來保證數(shù)據(jù)傳輸?shù)漠惒叫院头€(wěn)定性。消息隊(duì)列跟互聯(lián)網(wǎng)的連接結(jié)構(gòu)類似,所有數(shù)據(jù)都可以通過消息中間件,建立起一條可靠的消息傳輸鏈路,進(jìn)行應(yīng)用系統(tǒng)間的通信。
創(chuàng)新技術(shù)路線:
相較于消息隊(duì)列信息通訊以及數(shù)據(jù)抽取-轉(zhuǎn)換-加載(ETL),下秒數(shù)據(jù)Nexadata自成立開始就一直堅(jiān)持研發(fā)創(chuàng)新道路,是國內(nèi)首家打造“ELT+A”智能數(shù)據(jù)管道的軟件廠商。
1.創(chuàng)新性的打造“ELT+A”更加擁有發(fā)展前景,以及更大程度上滿足企業(yè)的需求,幫助企業(yè)低成本快速整合異構(gòu)系統(tǒng)數(shù)據(jù),實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)自動(dòng)化流轉(zhuǎn)、互通共享。
2.通過無代碼的數(shù)據(jù)集成與數(shù)據(jù)建模技術(shù),幫助企業(yè)將所有應(yīng)用程序、數(shù)據(jù)庫、事件和文件等數(shù)據(jù)信息提取到數(shù)據(jù)倉庫中,并快速將分散的數(shù)據(jù)轉(zhuǎn)化為數(shù)據(jù)集、API、自動(dòng)化流程等開箱即用的數(shù)據(jù)服務(wù)。
審核編輯 黃昊宇
-
多源異構(gòu)
+關(guān)注
關(guān)注
0文章
4瀏覽量
6474 -
SOAP
+關(guān)注
關(guān)注
0文章
10瀏覽量
7661 -
數(shù)據(jù)整合
+關(guān)注
關(guān)注
0文章
6瀏覽量
6279
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論