Taier是袋鼠云數(shù)棧大數(shù)據(jù)家族的開(kāi)源項(xiàng)目之一 ，它是一個(gè)分布式可視化的DAG任務(wù)調(diào)度系統(tǒng)，旨在降低ETL開(kāi)發(fā)成本、提高大數(shù)據(jù)平臺(tái)穩(wěn)定性，讓大數(shù)據(jù)開(kāi)發(fā)人員可以在Taier直接進(jìn)行業(yè)務(wù)邏輯的開(kāi)發(fā)，而不用關(guān)心任務(wù)錯(cuò)綜復(fù)雜的依賴關(guān)系與底層的大數(shù)據(jù)平臺(tái)的架構(gòu)實(shí)現(xiàn)，將工作的重心更多地聚焦在業(yè)務(wù)之中。

一、架構(gòu)設(shè)計(jì)和功能詳解

在架構(gòu)設(shè)計(jì)與功能特點(diǎn)上，Taier整體架構(gòu)是使用插件式的開(kāi)發(fā)模式，在任務(wù)開(kāi)發(fā)下面有調(diào)度模塊和各項(xiàng)組件，也包括數(shù)棧開(kāi)源家族的Chunjun等等。

（一）Taier功能特點(diǎn)

Taier的功能特點(diǎn)有下面幾個(gè)比較重要的方面：

1.任務(wù)類型：Spark SQL、數(shù)據(jù)同步(流計(jì)算任務(wù))；

2.控制臺(tái)：包括隊(duì)列管理、資源管理、多集群管理等；

3.運(yùn)維中心：比如任務(wù)管理、周期調(diào)度、補(bǔ)數(shù)據(jù)等；

4.插件化開(kāi)發(fā)：具體包括 taier-plugin、、DatasourceX、Chunjun等幾個(gè)插件。

（二）Taier功能特征

隨著不斷更新完善，現(xiàn)在的Taier已經(jīng)具有以下的幾種特性：

1、拓展性

• 單點(diǎn)故障:去中心化的分布式模式

• 高可用方式:Zookeeper

• 過(guò)載處理∶分布式節(jié)點(diǎn)＋兩級(jí)存儲(chǔ)策略＋隊(duì)列機(jī)制。每個(gè)節(jié)點(diǎn)都可以處理任務(wù)調(diào)度與提交;任務(wù)多時(shí)會(huì)優(yōu)先緩存在內(nèi)存隊(duì)列，超出可配置的隊(duì)列最大數(shù)量值后會(huì)全部落數(shù)據(jù)庫(kù)；任務(wù)處理以隊(duì)列方式消費(fèi)，隊(duì)列異步從數(shù)據(jù)庫(kù)獲取可執(zhí)行實(shí)例

• 實(shí)戰(zhàn)檢驗(yàn):得到數(shù)百家企業(yè)客戶生產(chǎn)環(huán)境實(shí)戰(zhàn)檢驗(yàn)

2、易用性

• 支持大數(shù)據(jù)作業(yè)Spark、Flink的調(diào)度；

• 支持眾多的任務(wù)類型，目前支持Spark SQL、Chunjun

• 可視化工作流配置︰支持封裝工作流、支持單任務(wù)運(yùn)行，不必封裝工作流、支持拖拽模式繪制；

• DAG監(jiān)控界面:運(yùn)維中心、支持集群資源查看，了解當(dāng)前集群資源的剩余情況、支持對(duì)調(diào)度隊(duì)列中的任務(wù)批量停止、任務(wù)狀態(tài)、任務(wù)類型、重試次數(shù)、任務(wù)運(yùn)行機(jī)器、可視化變量等關(guān)鍵信息一目了然；

• 調(diào)度時(shí)間配置:可視化配置；

• 多集群連接:支持一套調(diào)度系統(tǒng)連接多套Hadoop集群。

3、多版本引擎

• 支持Spark 、Flink等引擎的多個(gè)版本共存，例如可同時(shí)支持Flink1.10、Flink1.12(后續(xù)開(kāi)源)

• Kerberos支持Spark、Flink

• 豐富，支持3種時(shí)間基準(zhǔn)，且可以靈活設(shè)置輸出格式。

4、拓展性

• 設(shè)計(jì)之處就考慮分布式模式，目前支持整體Taier 水平擴(kuò)容方式;調(diào)度能力也隨集群線性增長(zhǎng)。

?

二、Taier重要概念

下面從原理和操作層面給大家進(jìn)一步介紹Taier，還有一些具體概念的解釋。

（一）任務(wù)與實(shí)例

方便起見(jiàn)，數(shù)棧在Taier中提出“任務(wù)”和“實(shí)例”兩個(gè)概念，例如數(shù)據(jù)開(kāi)發(fā)的數(shù)據(jù)同步這項(xiàng)工作稱之為“任務(wù)”，而已經(jīng)提交并且配置了周期屬性的任就稱之為“實(shí)例”。

（二）實(shí)例具體操作

在Taier中，實(shí)例有這幾種構(gòu)建的方式：

1．基于Zookeeper選舉Master節(jié)點(diǎn)參與Job 實(shí)例構(gòu)建，T+1構(gòu)建JobGraph

2. JobGraph構(gòu)建前check &clean DirtyData

3.依據(jù)Task、TaskTask的數(shù)據(jù)（JobGraph)生成Job .JobJob實(shí)例數(shù)據(jù)

4.Master節(jié)點(diǎn)控制實(shí)例數(shù)據(jù)的負(fù)載均衡持久化入數(shù)據(jù)庫(kù)

構(gòu)建完畢后，實(shí)例處理的幾種方式如下圖所示：

其中：

1．三種任務(wù)類型:周期任務(wù)、補(bǔ)數(shù)據(jù)任務(wù)、重跑任務(wù)，統(tǒng)一調(diào)度方式

2. Job 優(yōu)先入隊(duì)列（1)，隊(duì)列容量不足入DB (2)

3.當(dāng)隊(duì)列容量空余時(shí)，異步線程從DB加載數(shù)據(jù)入隊(duì)列（3）

4. Job出隊(duì)列后進(jìn)行任務(wù)提交

?

處理完成后，實(shí)例提交我們也做了思考，具體設(shè)計(jì)：

1．內(nèi)存優(yōu)先級(jí)隊(duì)列，控制Job有序執(zhí)行

2．多線程并發(fā)提交（可配置)

3. Job 執(zhí)行超時(shí)判斷（可配置)

4. Job資源不足/失敗重試進(jìn)入延遲隊(duì)列(可配置)﹔避免長(zhǎng)時(shí)間占用提交權(quán)

?

Taier 的實(shí)例狀態(tài)大家主要應(yīng)該關(guān)注標(biāo)志停止的幾個(gè)，具體有下面幾種：

1.?WaitEngine:內(nèi)存隊(duì)列中的Job、內(nèi)存容量不足存儲(chǔ)在DB中的Job(默認(rèn)500 )

2.?Lacking:資源不足暫時(shí)等待的Job（默認(rèn)2min)

3. Restarting:失敗重試的Job（默認(rèn)2min )

4. Finshed、Failed、Canceled、Killed:結(jié)束狀態(tài)

Taier的整個(gè)控制臺(tái)設(shè)計(jì)分為公共組件、調(diào)度組件、存儲(chǔ)組件和計(jì)劃組件。通過(guò)一個(gè)租戶ID，拿到這個(gè)集群下common, YARN-conf等的四個(gè)配置信息，組成包含一個(gè)任務(wù)插件所有信息的pluginlnfo。將它解析之后，一些資源初始化上傳，以便我們緩存對(duì)應(yīng)的客戶端。?

Taier Client Plugin這里，要快速開(kāi)發(fā)一個(gè)插件要注意以下幾點(diǎn)：

• 一種任務(wù)類型對(duì)應(yīng)一個(gè)插件，即一個(gè)jar包

• 自定義類加載器(Classloader) 破壞雙親委派優(yōu)先加載( Child-First)插件

• 插件實(shí)現(xiàn)IClient接口方法

• SPI: 在classpath 下的META-INF/services/目錄下，創(chuàng)建以接口IClient 全限定名命名的文件，內(nèi)容是上一步中實(shí)現(xiàn)類的全限定名

?

?

?