互聯(lián)網(wǎng)企業(yè)的主要數(shù)據(jù)來源是散落在各個業(yè)務(wù)服務(wù)器上的半結(jié)構(gòu)化日志，比如系統(tǒng)日志、程序日志、訪問日志、審計日志等。目前國內(nèi)互聯(lián)網(wǎng)企業(yè)單日日志數(shù)據(jù)增量達(dá)到TB級很常見。互聯(lián)網(wǎng)企業(yè)間的競爭非常激烈，實時統(tǒng)計分析日志數(shù)據(jù)并將結(jié)果指導(dǎo)決策能夠提高企業(yè)的競爭力。因此最原始的日志數(shù)據(jù)記錄具有豐富和巨大的價值。

　　目前很多開源的系統(tǒng)，如Flume、Kalka、Storm、HBase等可以對日志數(shù)據(jù)進(jìn)行處理，但是這些系統(tǒng)相互獨立，均龐大復(fù)雜，需要專門的數(shù)據(jù)處理人員根據(jù)需求編程來使用，而企業(yè)的業(yè)務(wù)和運維部門一般沒有專業(yè)從事大數(shù)據(jù)實時處理的人員，因此設(shè)計大數(shù)據(jù)實時處理平臺，為用戶提供不需要編程就能方便使用的大規(guī)模日志數(shù)據(jù)實時多維統(tǒng)計分析功能，是各個互聯(lián)網(wǎng)企業(yè)的迫切需求，飛流應(yīng)運而生。

　　統(tǒng)一的大規(guī)模日志數(shù)據(jù)實時多維統(tǒng)計分析平臺需要接入多種來源的日志數(shù)據(jù)，每種日志記錄了各種不同維度的運行數(shù)據(jù)，用戶需要的是靈活的、方便的、多維度的統(tǒng)計分析。因此，飛流平臺的設(shè)計目標(biāo)主要是實現(xiàn)大規(guī)模日志數(shù)據(jù)的多源采集和聚合、實時多維度統(tǒng)計分析、用戶可以在線通過配置代替大數(shù)據(jù)編程實現(xiàn)統(tǒng)計分析任務(wù)的熱提交、熱更新和熱刪除、統(tǒng)計分析結(jié)果通過WebUI迸行展示。