通訊科技的進步與普及,帶動智能手機的發展,使得人們可隨時隨地將圖片或視頻上傳到影音網站,而高解析度顯示技術的發展,使得影音片段所須儲存的數據量增加,加上近距離通訊將移動物件的數據傳輸便利化等,在在讓全球數位數據量呈現快速成長。
另一方面,云計算(Cloud Computing)技術將分散于各地數據中心的資源加以動態組合形成服務,提供給數百億的資通訊設備如手機、聯網電視和電腦等,更讓散布于全球各地的數據聚合而成數位宇宙(Digital Universe)。
數據量大爆炸 Big Data商機起飛
市場調查機構IDC指出,數位宇宙數據量自2005-2020年將成長三百倍,由2005年的130艾位元組(Exabytes,相當于109Gigabytes)激增至2020年的40,000艾位元組,相當于每年數據量成長兩倍。
數位宇宙如此多元與龐大的數據量,如何連結與產生有效益的資訊,成為近年來資通訊技術與產業發展的主要議題;大數據(Big Data)技術遂于2012年繼云計算技術后,成為資訊產業界最熱門的話題。
IDC定義大數據技術為運用高速擷取、發現或分析技巧于各式各樣型態的龐大數據中,以經濟的方式萃取出價值的新一代資訊技術與架構。IDC分析師認為大數據應具有三個主要特點,分別為數據本身、分析推論,以及分析結果的表達方式,之后才能由它們組合延展為產品和服務。
市場研究機構Transparency Market Research研究報告預測,未來5年內全球大數據技術市場規模,將由2012年的63億美元成長至2018年的483億美元,年復合成長率為 40.5%;該報告亦指出2012年全球60%以上的大數據市場由惠普(HP)、Teradata、Opera Solutions、Mu Sigma及Splunk等五家公司主導。
大數據的發展使得傳統占有商業智能(Business Intelligence)市場的大型廠商如SAP Business Objects、IBM Cognos、Oracle OBIEE和MicroStrategy,在2012年的市占率被壓縮,一般認為商業智能的需求于未來將更多角化,更多新創公司會貢獻創新的作法。
大數據興起 全球IT資本支出走揚
Gartner市場研究機構分析,大數據的特性為數據集的產出量、產出樣式與復雜度及產出速度,遠大于超過一個機構以往所面對及處理的數據,亦簡稱為3Vs特性(Volume、Variety、Velocity)。
Gartner指出,目前全球于大數據的資本支出,主要需求來自于將傳統的IT解決方案轉為需要大數據技術的IT方案,這些需求來自于機器產生的數據、社交數據、過于多樣式的數據,以及無法預測產生速率的數據。大數據技術未來將為全球IT資本支出的新驅動力,并逐漸改變傳統的資訊管理實務與技術。
大數據呈現的數據格式,目前大多以影音、文字和數值等為主,樣式可為結構化或非結構化,輸入模式可為串流或批次。除企業擁有的商務與公開數據外,因為企業可運用收集和分析消費者資訊的創新資源增多,使得大數據技術的應用將更加廣泛,更多連續性數據的來源包含如量測設備所產生的數據、射頻辨識系統 (RFID)傳感事件、社群網路的訊息、氣象與天文數據、監控與傳感數據、移動設備所產生與位置相關的數據流等。大數據技術因全球積極推動的物聯網 (IoT)、智能電網(Smart Grid)和智能城市(Smart City)等重點應用領域,在2012-2018年間,大多數的數據不再是由人產生,而是由具備資通訊功能的物件如交通工具、生產設備和家電等之間的互動產生。
IDC統計顯示,目前全球所有的數據約只有千分之五曾被分析過。大數據技術未來幾年中仍將在商業智能應用為發展主流,雖然目前它依然是新興且尚未發展成熟的概念。Gartner市場調查機構預測,至2015年大數據將創造全球四百四十萬人的就業機會,用以解決目前大數據數據分析師與軟體工具的龐大缺口問題。
2012年為數不少的美國大型公司轉為使用大數據軟體平臺Hadoop與叢集計算架構來執行企業內部大量數據應用,許多美國資服業者亦將支援Hadoop功能整合至他們的分析與儲存軟體解決方案。
大數據分析平臺廠商Alteryx總經理George Mathew認為,2013年由于使用云端平臺的服務成長,當越來越多組織開始使用平價合理的云端服務商業模式,企業將會分析應用轉換至云端服務平臺來執行,以云端平臺來提供使用者存取、分享與收集分析資訊的軟體工具將越來越多。
除商務智能外,2012年大數據技術也被應用于運動、健康照護等領域。由于擁有過去所累積的各類運動數據紀錄,運動愛好者可藉由分析找出他們最喜歡的球員和運動的資訊。體育精算師John Dewan就運用大數據結合奧運模擬軟體,預測美國在2012年的夏季奧運會將得到一百零八面獎牌,而美國最后得到一百零四面。
在技術發展上,Google的MapReduce分散式平行計算架構亦為大數據處理的重要軟體工具。雖然MapReduce結合Hadoop平臺的解決方案已完成,但Hadoop的研發社群似乎不太重視此一方案的成長性。據推測,Hadoop社群將研發重點聚焦于以Hadoop平臺的分散式特性,提供支援即時處理和其他新的功能,讓Hadoop更適合下一代數據處理應用,而這些新功能已被其他平臺解決方案如Storm、Druid列為研發要點。
目前有許多新創公司如Continuuity、Infochimps和Precog等,以讓應用開發者可存取到大數據的發展策略進行技術擴展。另一個發展方式則為選擇利基應用,如使用者行為分析、網路安全、人工智能和客戶服務等使用情境做為開發標的,進而將使用案例轉為服務或產品,運用此一模式的業者包括Google、臉書(Facebook)等自身擁有大數據的公司。
2013年大數據技術發展的熱門應用領域為移動商務智能、物聯網和機器學習等,須要垂直整合的應用領域則為能源、公用事業、健康照護和人力資源等。在技術面,則以取得與合併數據的技術、降低初始分析因數據不足的失敗率(Start-Up Failure)、增加預測精確度與新平臺的研發為主要發展趨勢。下面將以幾個案例,來說明相關技術如何運用于各應用領域。
善用智能分析工具 用戶移動商務經驗提升
由于智能移動設備的成長與滲透率提高,智能移動設備內建多種傳感元件,例如影像傳感器、衛星定位、加速度計和高度計,使得服務營運商可自智能移動設備即時取得使用者資訊,例如定位數據、移動方向、興趣點和交易數據的方式增多,移動商務智能的獲得,將促使營運商投資大數據分析軟體與平臺建置。
移動商務智能分析須融合使用者、智能移動設備與環境等多方資訊,才能有效地由巨量的使用者資訊中萃取出商業價值,探勘使用者于移動環境中所需服務及偏好成為價值萃取的標的,運用此價值資訊將協助服務營運商提供最適合的資訊與服務給使用者,進而提升使用者使用移動商務的經驗并增進服務商獲利能力。
舉例而言,以位置為基礎的移動商務智能分析技術,可透過多種位置資訊的傳感方式來收集混合的移動軌跡數據,并增加只運用單一位置資訊傳感方式的定位精度軌跡探勘精確度。研發自動叢集多源定位的移動軌跡數據,來改善定位精度容錯范圍,以提升軌跡可探勘率為此類應用的基礎技巧,但于技術應用面須進一步考量消費者、廣告商及平臺商各自的商業利益,延展出具有三贏功效的軌跡樣式探勘處理技術,才能提升移動服務推薦滿足率及成交效益,創造大數據技術的市場價值。
除以定址服務(LBS)為商務智能分析的主要發展趨勢外,另一個值得關注的發展為社群資訊服務。2012年美國運用巨量連續的社群串流資訊,即時自動發現所含的熱門議題資訊,用以成功阻止流感的擴散。
2013年以社群串流資訊結合大數據分析技術的應用持續增加,巨集大量短訊息數據的微網誌(Microblog)社群網路平臺如Twitter、 Plurk和微博等,成為許多廠商尋找大數據商機之處。透過微網誌,使用者可發布關于自己的日常生活瑣事,以及分享每天所遭遇到的事情,亦能即時了解朋友的近況動態等。
此大數據分析技術的重點為當微網誌短訊息快速、連續性產生時,仍可即時處理串流訊息分群以進行議題偵測,包括如何自動偵測最新出現的熱門關鍵字,以及解決串流文字訊息概念漂移(Concept-Drift)的問題,并即時群聚串流文字短訊以偵測未知數量議題與事件。萃取出的情報資訊將可應用于新產品市場意見回饋、客戶關係管理(Customer Relation Management, CRM)、民意調查和災情追蹤等領域,以提供市場行銷決策參考依據。
聯網電視、移動與社群等服務結合云端計算技術的快速發展,將商務資訊匯流至服務平臺,有助于虛實整合O2O(Online to Offline)電子商務服務業者的發展。O2O將實體世界的商務發展和資通網路結合,讓資通網路成為商務交易的前臺。
換言之,O2O模式主要的精神是透過資通訊技術尋找消費者,然后將他們帶到實體商店中。圖1為運用數種即時巨量商務數據分析技術形成O2O商務系統平臺,分析平臺解析巨量且異質的消費者與店家數據,將適切的服務推薦至使用者來提升商務效益。同時,更貼近使用者個人化需求的服務,將隨著大數據技術的發展更加完善。
圖1 巨量商務分析技術于O2O商務應用 數據來源:工研院南分院云服中心整理
大數據收集有彈性 環境分析應用計劃開跑
在數據收集技術與新興大數據應用方面,IBM自2009年起,在數據較缺乏的領域如健康照護與環境應用,展開數據收集與建立的投資,其中包含與 Marine Institute Ireland合作進行對海洋中海浪、污染和海產生命等數據即時監控與收集的「SmartBay Calway」先導計劃。
該計劃將收集到的巨量監控數據加以分析提供服務,并以Web或其他智能通訊設備傳遞給使用者,將數據多元提供不同領域的應用,此計劃數據收集與提供如圖2所示。
圖2 SmartBay Calway監控數據收集示意圖 數據來源:John Kennedy--Silicon Republic
自動化數據收集及設備管理應用的技術實施,主要由數據收集與服務傳遞的閘道器,以及內建于傳感器的數據處理軟體元件組成。在養殖應用案例上,布建于養殖水域的環境傳感器,將傳感到的水質溫度值、酸鹼值及溶氧值等數據數據,透過有線或無線通訊技術,將資訊傳送至后端的傳感數據收集閘道器。傳感數據收集閘道器解析各項水質環境資訊后,再依據場域環境,透過適切的通訊方式傳送環境數據至養殖應用平臺儲存。
為多元應用的數據存取便利與設備互通性,在系統實施面的設計上可採用OSGi開放式服務閘道器技術,系統架構如圖3所示,OSGi技術允許任意加入及刪除傳感器設備,如場域管理者欲新增/刪除監控水質項目,僅須布建/移除傳感器與實作安裝/反安裝相對應傳感軟體元件,此技術提供易于修改與擴展,以及降低系統維護成本的優點。
圖3 養殖數據收集案例
加入大數據分析 再生能源市場接受度高
在新興能源應用方面,智能電網與再生能源的推動,為全球現今積極發展的技術,智能電網運用整合型通訊與新控制技術,讓電網效益與效率發揮。歐美已有許多能源服務公司(ESCO),透過能源監控數據的收集與大數據技術,并結合云端服務來強化太陽能發電效益及公司的營運,其中美國能源服務公司 SolarCity于2012年上市籌資,成功擴展此類營運的經濟規模。
由于一般民眾對太陽能發電系統相關的建置資訊與投資報酬率的了解程度不深,因此須要藉由太陽能監控技術來強化相關資訊的曝光率,并建構更普及的接受度。如 SolarCity的系統營運商更有賴于太陽能監控管理系統的開發,來降低營運成本與提高維運效率,并能主動提供系統異常塬因與性能衰煺預警,提供業界託管服務。
目前較成熟的太陽能發電與監控系統,可由圖4來說明。一般的太陽能監控系統為使用者集中管理的方便性,并考量乙太網路已是目前物聯網最為廣泛的數據傳遞媒介,通常採用一組于發電轉換器(Inverter)至網路介面(ADSL Modem)之間的協定轉換器(Bus Adapter),將太陽能的發電狀態透過網際網路(Internet)傳遞至遠端的中央控管伺服器,讓使用者可透過個人電腦或主機來觀測太陽能發電的狀態。
圖4 太陽能發電與監控系統
在云端化管理平臺部分,通常使用Hadoop云端平臺軟體,將該軟體分散建置于數臺實體機器,并于Hadoop云端平臺上開發太陽能監控管理服務,結合遠端監控及云端服務達到即時且長期監控的效果。此外,透過云端技術與移動應用程式(App)的結合,使用者可經由隨身設備隨時地監控整個系統。
透過分析來自太陽能監控管理系統的大數據,將可提供許多有效資訊,這些資訊包含能源比例調整最佳化(依據發電效率、成本、其他替代能源種類/成本,做為系統發電成本最佳的規劃)、系統大小配置仿真功能(依據欲建置的場域大小與發電量,模擬建置發電系統設備的規模)、能源使用概況(模擬太陽能系統發電期間的使用概況,可提供投資者有效追蹤與管理發電系統的發電效能),以及綜合財務分析(提供投資者成本回收推估、費率結構比較和銷售價格預訂等項目)。
大數據技術已開始運用于更多的領域,用以發現更多數據的精華價值,而它卻只是新一代數據管理技術的開端。未來,將有更多的公司將更深一層的去思考如何由他們擁有的數據資產中發現價值,或連結公開的數據來創造價值,而管理大數據的創新演算法與軟體,將成為IT業者競爭的戰場。
評論
查看更多