一種語義規(guī)則為指導(dǎo)的增量優(yōu)化方法

　　 大數(shù)據(jù)蘊含著巨大的價值．分析類查詢是獲取數(shù)據(jù)價值的一種重要手段．為及時把握分析結(jié)果的變化。查詢需要周期性地重復(fù)．為此，將不可避免地引入對舊數(shù)據(jù)的重復(fù)分析．目前，以重用歷史數(shù)據(jù)的中間結(jié)果、優(yōu)化冗余計算為核心思路的增量分析技術(shù)。存在用戶透明性不佳、對歷史結(jié)果存儲位置的選擇不夠智能化等問題，對周期性增量查詢的優(yōu)化效果有限，從兼顧用戶透明性和優(yōu)化收益的角度出發(fā)。設(shè)計了一種以語義規(guī)則為指導(dǎo)的增量優(yōu)化方法．該方法擴展了增量描述語法，以查詢操作符的操作語義和輸出語義指導(dǎo)對歷史數(shù)據(jù)存儲、合并位置的選擇，再根據(jù)代價模型和物理查詢?nèi)蝿?wù)的劃分位置對選擇結(jié)果進行調(diào)整，生成優(yōu)化后可以在分布式計算框架（如MapReduce）周期性調(diào)度執(zhí)行的物理查詢?nèi)蝿?wù)．以Apache Hive為基礎(chǔ)，實現(xiàn)了上述方法的原型Hivelnc．實驗結(jié)果表明：對于擴展了增量語法描述的TPC-H測試集，Hivelnc相對于優(yōu)化前可以獲得平均2.93倍、最高5.78倍的加速：與經(jīng)典的優(yōu)化技術(shù)IncMR、Dryadlnc相比，分別可以獲得1.69倍和1.61倍的加速．