一種語義規(guī)則為指導(dǎo)的增量優(yōu)化方法
大數(shù)據(jù)蘊含著巨大的價值.分析類查詢是獲取數(shù)據(jù)價值的一種重要手段.為及時把握分析結(jié)果的變化。查詢需要周期性地重復(fù).為此,將不可避免地引入對舊數(shù)據(jù)的重復(fù)分析.目前,以重用歷史數(shù)據(jù)的中間結(jié)果、優(yōu)化冗余計算為核心思路的增量分析技術(shù)。存在用戶透明性不佳、對歷史結(jié)果存儲位置的選擇不夠智能化等問題,對周期性增量查詢的優(yōu)化效果有限,從兼顧用戶透明性和優(yōu)化收益的角度出發(fā)。設(shè)計了一種以語義規(guī)則為指導(dǎo)的增量優(yōu)化方法.該方法擴展了增量描述語法,以查詢操作符的操作語義和輸出語義指導(dǎo)對歷史數(shù)據(jù)存儲、合并位置的選擇,再根據(jù)代價模型和物理查詢?nèi)蝿?wù)的劃分位置對選擇結(jié)果進行調(diào)整,生成優(yōu)化后可以在分布式計算框架(如MapReduce)周期性調(diào)度執(zhí)行的物理查詢?nèi)蝿?wù).以Apache Hive為基礎(chǔ),實現(xiàn)了上述方法的原型Hivelnc.實驗結(jié)果表明:對于擴展了增量語法描述的TPC-H測試集,Hivelnc相對于優(yōu)化前可以獲得平均2.93倍、最高5.78倍的加速:與經(jīng)典的優(yōu)化技術(shù)IncMR、Dryadlnc相比,分別可以獲得1.69倍和1.61倍的加速.
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
一種語義規(guī)則為指導(dǎo)的增量優(yōu)化方法下載
相關(guān)電子資料下載
- 屏化電子煙趨勢滲透顯著,有望增量突破帶動上下游供應(yīng)鏈。電子霧化TFT液晶屏 172
- 位置式PID與增量式PID的區(qū)別 863
- 增量式編碼器結(jié)構(gòu)應(yīng)用與工作原理 227
- 增量編碼器和絕對值編碼器的區(qū)別 312
- 旋轉(zhuǎn)編碼器的常見類型 291
- 崔東樹:進口車增量助力消費增長,年內(nèi)潛力巨大 310
- 光纖絕對式和光纖增量式編碼器的區(qū)別 200
- 如何利用一些小技巧實現(xiàn)SVM的增量式訓(xùn)練 321
- 增量編碼器計數(shù)值和實際角度不一致怎么辦? 607
- 激光雷達賽道再有新玩家入局,智能汽車增量部件是趨勢? 4042