資料介紹
隨著基于Hadoop平臺(tái)的大數(shù)據(jù)技術(shù)的不斷發(fā)展和實(shí)踐的深入,Hadoop YARN資源調(diào)度策略在異構(gòu)集群中的不適用性越發(fā)明顯。一方面,節(jié)點(diǎn)資源無(wú)法動(dòng)態(tài)分配,導(dǎo)致優(yōu)勢(shì)節(jié)點(diǎn)的計(jì)算資源浪費(fèi)、系統(tǒng)性能沒(méi)有充分發(fā)揮;另一方面,現(xiàn)有的靜態(tài)資源分配策略未考慮作業(yè)在不同執(zhí)行階段的差異,易產(chǎn)生大量資源碎片?;谝陨蠁?wèn)題,提出了一種負(fù)載自適應(yīng)調(diào)度策略。監(jiān)控集群執(zhí)行節(jié)點(diǎn)和提交作業(yè)的性能信息,利用實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)建模、量化節(jié)點(diǎn)的綜合計(jì)算能力,結(jié)合節(jié)點(diǎn)和作業(yè)的性能信息在調(diào)度器上啟動(dòng)基于相似度評(píng)估的動(dòng)態(tài)資源調(diào)度方案。優(yōu)化后的系統(tǒng)能夠有效識(shí)別集群節(jié)點(diǎn)的執(zhí)行能力差異,并根據(jù)作業(yè)任務(wù)的實(shí)時(shí)需求進(jìn)行細(xì)粒度的動(dòng)態(tài)資源調(diào)度,在完善YARN現(xiàn)有調(diào)度語(yǔ)義的同時(shí),可作為子級(jí)資源調(diào)度方案架構(gòu)在上層調(diào)度器下。在Hadoop 2.O上實(shí)現(xiàn)并測(cè)試該策略,實(shí)驗(yàn)結(jié)果表明,作業(yè)的自適應(yīng)資源調(diào)度策略顯著提高了資源利用率,集群并發(fā)度提高了2到3倍,時(shí)間性能提升了近10%。
- 自適應(yīng)反饋消除 3
- 基于橋式吊車(chē)系統(tǒng)的分組自適應(yīng)控制策略 22次下載
- 一種基于自適應(yīng)鄰域策略的改進(jìn)算法 10次下載
- 異構(gòu)環(huán)境下的多DAG任務(wù)調(diào)度算法綜述 13次下載
- 面向異構(gòu)領(lǐng)域自適應(yīng)的聯(lián)合信息保持算法 5次下載
- 基于節(jié)點(diǎn)分布自適應(yīng)的WSN覆蓋控制優(yōu)化策略 25次下載
- 總線負(fù)載的自適應(yīng)頻率調(diào)節(jié) 2次下載
- 自適應(yīng)元數(shù)據(jù)服務(wù)負(fù)載均衡策略 0次下載
- 一種新的調(diào)度策略優(yōu)化Spark在異構(gòu)集群下表現(xiàn) 0次下載
- 基于Ubuntu的Hadoop集群安裝與配置 8次下載
- 異構(gòu)集群服務(wù)器的動(dòng)態(tài)加權(quán)負(fù)載均衡算法
- 基于有限反饋的數(shù)據(jù)流數(shù)自適應(yīng)SDMA
- 基于反饋的帶寬自適應(yīng)無(wú)線監(jiān)控系統(tǒng)
- 結(jié)構(gòu)化P2P自適應(yīng)混合負(fù)載均衡策略
- 樹(shù)型網(wǎng)格計(jì)算環(huán)境下的自適應(yīng)任務(wù)調(diào)度算法
- 虛擬機(jī):Hadoop集群的配置 2689次閱讀
- 虛擬機(jī):Hadoop集群的搭建 3097次閱讀
- 工業(yè)機(jī)器人自適應(yīng)運(yùn)動(dòng)控制技術(shù) 1943次閱讀
- 汽車(chē)開(kāi)關(guān)的關(guān)鍵技術(shù)自適應(yīng)觸覺(jué)的詳細(xì)介紹 2016次閱讀
- 什么是Hadoop? Spark和Hadoop對(duì)比 6751次閱讀
- 自適應(yīng)控制的優(yōu)缺點(diǎn)_自適應(yīng)控制存在的問(wèn)題及發(fā)展 4.9w次閱讀
- 什么是自適應(yīng)控制_自適應(yīng)控制基本原理 5.5w次閱讀
- hadoop云存儲(chǔ)解決方案 6442次閱讀
- hadoop基礎(chǔ)知識(shí)介紹_hadoop是什么語(yǔ)言開(kāi)發(fā)的_hadoop能做什么 3.9w次閱讀
- hadoop技術(shù)原理總結(jié) 4140次閱讀
- hadoop優(yōu)缺點(diǎn)分析 1.6w次閱讀
- 自適應(yīng)濾波算法理解與應(yīng)用 2.5w次閱讀
- 自適應(yīng)濾波器的作用、原理以及相關(guān)應(yīng)用 2w次閱讀
- 淺析Hadoop集群硬件選擇 1648次閱讀
- 基于DSP的自適應(yīng)濾波器的設(shè)計(jì)方案 8239次閱讀
下載排行
本周
- 1電子電路原理第七版PDF電子教材免費(fèi)下載
- 0.00 MB | 1490次下載 | 免費(fèi)
- 2單片機(jī)典型實(shí)例介紹
- 18.19 MB | 93次下載 | 1 積分
- 3S7-200PLC編程實(shí)例詳細(xì)資料
- 1.17 MB | 27次下載 | 1 積分
- 4筆記本電腦主板的元件識(shí)別和講解說(shuō)明
- 4.28 MB | 18次下載 | 4 積分
- 5開(kāi)關(guān)電源原理及各功能電路詳解
- 0.38 MB | 10次下載 | 免費(fèi)
- 6基于AT89C2051/4051單片機(jī)編程器的實(shí)驗(yàn)
- 0.11 MB | 4次下載 | 免費(fèi)
- 7基于單片機(jī)和 SG3525的程控開(kāi)關(guān)電源設(shè)計(jì)
- 0.23 MB | 3次下載 | 免費(fèi)
- 8基于單片機(jī)的紅外風(fēng)扇遙控
- 0.23 MB | 3次下載 | 免費(fèi)
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費(fèi)
- 2PADS 9.0 2009最新版 -下載
- 0.00 MB | 66304次下載 | 免費(fèi)
- 3protel99下載protel99軟件下載(中文版)
- 0.00 MB | 51209次下載 | 免費(fèi)
- 4LabView 8.0 專(zhuān)業(yè)版下載 (3CD完整版)
- 0.00 MB | 51043次下載 | 免費(fèi)
- 5555集成電路應(yīng)用800例(新編版)
- 0.00 MB | 33562次下載 | 免費(fèi)
- 6接口電路圖大全
- 未知 | 30320次下載 | 免費(fèi)
- 7Multisim 10下載Multisim 10 中文版
- 0.00 MB | 28588次下載 | 免費(fèi)
- 8開(kāi)關(guān)電源設(shè)計(jì)實(shí)例指南
- 未知 | 21539次下載 | 免費(fèi)
總榜
- 1matlab軟件下載入口
- 未知 | 935053次下載 | 免費(fèi)
- 2protel99se軟件下載(可英文版轉(zhuǎn)中文版)
- 78.1 MB | 537791次下載 | 免費(fèi)
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420026次下載 | 免費(fèi)
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費(fèi)
- 5Altium DXP2002下載入口
- 未知 | 233046次下載 | 免費(fèi)
- 6電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191183次下載 | 免費(fèi)
- 7十天學(xué)會(huì)AVR單片機(jī)與C語(yǔ)言視頻教程 下載
- 158M | 183277次下載 | 免費(fèi)
- 8proe5.0野火版下載(中文版免費(fèi)下載)
- 未知 | 138039次下載 | 免費(fèi)
評(píng)論
查看更多