Storm環(huán)境下基于權(quán)重的任務(wù)調(diào)度算法
推薦 + 挑錯(cuò) + 收藏(0) + 用戶評(píng)論（0）
大數(shù)據(jù)流式計(jì)算平臺(tái)Apache Storm默認(rèn)采用輪詢的方式進(jìn)行任務(wù)調(diào)度，未考慮到拓?fù)渲懈魅蝿?wù)計(jì)算開銷的差異以及任務(wù)之間不同類型的通信模式，在負(fù)載均衡和通信開銷方面存在較大的優(yōu)化空間。針對(duì)這一問題，提出一種Storm環(huán)境下基于權(quán)重的任務(wù)調(diào)度算法（TSAW-Storm）。該算法首先根據(jù)各任務(wù)的CPU資源占用情況以及任務(wù)間的數(shù)據(jù)流大小，分別確定拓?fù)涞狞c(diǎn)權(quán)和邊權(quán)；并利用最大化邊權(quán)增益的思想，逐步構(gòu)建起各工作節(jié)點(diǎn)中承載的任務(wù)集合，在保證集群負(fù)載均衡的同時(shí)，盡可能將邊權(quán)較大的節(jié)點(diǎn)間數(shù)據(jù)流轉(zhuǎn)化為節(jié)點(diǎn)內(nèi)數(shù)據(jù)流，從而降低網(wǎng)絡(luò)傳輸開銷。實(shí)驗(yàn)結(jié)果表明，在包含有8個(gè)工作節(jié)點(diǎn)的WordCount基準(zhǔn)測試中，TSAW-Storm的系統(tǒng)延遲和節(jié)點(diǎn)間數(shù)據(jù)流大小相比Storm默認(rèn)調(diào)度算法分別降低了30.0%和32.9%，且各工作節(jié)點(diǎn)的CPU負(fù)載標(biāo)準(zhǔn)差僅為Storm默認(rèn)調(diào)度算法的25.8%；此外，在與在線調(diào)度算法的對(duì)比實(shí)驗(yàn)中，TSAW-Storm在系統(tǒng)延遲、節(jié)點(diǎn)間數(shù)據(jù)流大小和CPU負(fù)載標(biāo)準(zhǔn)差方面分別降低了7. 76%、11. 8%和5.93 %，且算法的執(zhí)行開銷明顯降低，有效提高了Storm系統(tǒng)的運(yùn)行效率。
非常好我支持^.^
(0) 0%
不好我反對(duì)
(0) 0%
下載地址
Storm環(huán)境下基于權(quán)重的任務(wù)調(diào)度算法下載
相關(guān)電子資料下載
- 多核同構(gòu)SMP--調(diào)度算法分析 546
- RTOS常用的調(diào)度算法 238
- 簡單介紹GaussDB網(wǎng)絡(luò)調(diào)度涉及的調(diào)度算法 286
- LVS是什么？LVS的四種模式與十種調(diào)度算法介紹 1279
- Linux內(nèi)核的4大IO調(diào)度算法 371
- 基于優(yōu)先級(jí)搶占系統(tǒng)的QNX調(diào)度算法 422
- 調(diào)度算法評(píng)測與仿真系統(tǒng) 調(diào)度算法仿真系統(tǒng)介紹 1079
- Kubernetes是如何解決資源拓?fù)涓兄{(diào)度的呢 588
- kube-scheduler v1.21 的調(diào)度流程分析 593
- 時(shí)間片調(diào)度算法issue詳解 804