深度 | 性能全面超數(shù)據(jù)庫(kù)專家,騰訊基于機(jī)器學(xué)習(xí)的性能優(yōu)化系統(tǒng)

騰訊與華中科技大學(xué)合作的最新研究成果入選了國(guó)際數(shù)據(jù)庫(kù)頂級(jí)會(huì)議SIGMOD的收錄論文，并將于6月30日在荷蘭阿姆斯特丹召開(kāi)SIGMOD 2019國(guó)際會(huì)議上公開(kāi)發(fā)表。

入選論文的題目為“An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning”，此項(xiàng)研究突破性的實(shí)現(xiàn)了基于AI技術(shù)的數(shù)據(jù)庫(kù)性能調(diào)優(yōu)結(jié)果首次全面超越數(shù)據(jù)庫(kù)專家經(jīng)驗(yàn)判斷的傳統(tǒng)方法。該成果由華中科技大學(xué)武漢光電國(guó)家研究中心周可教授團(tuán)隊(duì)和騰訊技術(shù)工程事業(yè)群云架構(gòu)平臺(tái)部CDB數(shù)據(jù)庫(kù)團(tuán)隊(duì)合作完成，博士生張霽為第一作者。

智能云存儲(chǔ)技術(shù)聯(lián)合研究中心由騰訊與華中科技大學(xué)于2018年成立，旨在通過(guò)強(qiáng)強(qiáng)聯(lián)合，建設(shè)一流的智能云存儲(chǔ)技術(shù)創(chuàng)新和人才培養(yǎng)平臺(tái)。通過(guò)吸引匯聚頂尖專業(yè)人才，騰訊與華中科技大學(xué)在分布式存儲(chǔ)技術(shù)、高性能存儲(chǔ)引擎、業(yè)務(wù)負(fù)載預(yù)測(cè)等方面開(kāi)展聯(lián)合技術(shù)攻關(guān)，突破超大規(guī)模云存儲(chǔ)服務(wù)系統(tǒng)的諸多技術(shù)難題，推動(dòng)智能云存儲(chǔ)技術(shù)的科技創(chuàng)新及技術(shù)應(yīng)用落地。本次入選的論文，正是智能云存儲(chǔ)技術(shù)聯(lián)合研究中心的聯(lián)合研究成果之一。

SIGMOD數(shù)據(jù)管理國(guó)際會(huì)議是數(shù)據(jù)庫(kù)領(lǐng)域具有最高學(xué)術(shù)地位的國(guó)際性學(xué)術(shù)會(huì)議，位列數(shù)據(jù)庫(kù)方向頂級(jí)會(huì)議之首。

隨著云計(jì)算的迅速發(fā)展，中小型企業(yè)通過(guò)購(gòu)買(mǎi)云數(shù)據(jù)庫(kù)服務(wù)系統(tǒng)，來(lái)代替自建和維護(hù)數(shù)據(jù)庫(kù)服務(wù)系統(tǒng)的情況越來(lái)越多，以便節(jié)約人力物力。然而，大多數(shù)用戶在購(gòu)買(mǎi)云數(shù)據(jù)庫(kù)服務(wù)系統(tǒng)后僅僅停留在使用層面上，在使用過(guò)程中經(jīng)常遇到數(shù)據(jù)庫(kù)系統(tǒng)性能下降的情況。

由于缺少數(shù)據(jù)庫(kù)管理系統(tǒng)性能優(yōu)化的經(jīng)驗(yàn)，用戶很難發(fā)現(xiàn)導(dǎo)致數(shù)據(jù)庫(kù)系統(tǒng)性能下降的原因并有效地解決，這就需要云服務(wù)提供商為用戶及時(shí)地調(diào)整數(shù)據(jù)庫(kù)系統(tǒng)參數(shù)，以保證數(shù)據(jù)庫(kù)的性能維持在一個(gè)較優(yōu)的狀態(tài)。對(duì)于擁有數(shù)十萬(wàn)計(jì)用戶實(shí)例的云服務(wù)提供商來(lái)說(shuō)，完全依賴數(shù)據(jù)庫(kù)專家進(jìn)行數(shù)據(jù)庫(kù)參數(shù)調(diào)優(yōu)顯然是不現(xiàn)實(shí)的，如何利用AI技術(shù)解決數(shù)據(jù)庫(kù)系統(tǒng)性能問(wèn)題已經(jīng)變得越來(lái)越重要和緊迫。

該文首次提出了一種基于深度強(qiáng)化學(xué)習(xí)的端到端的云數(shù)據(jù)庫(kù)自動(dòng)性能優(yōu)化系統(tǒng)CDBTune，如圖1所示。該系統(tǒng)可以在缺少相關(guān)經(jīng)驗(yàn)數(shù)據(jù)訓(xùn)練的情況下建立優(yōu)化模型，為云數(shù)據(jù)庫(kù)用戶提供在線自動(dòng)優(yōu)化數(shù)據(jù)庫(kù)性能的服務(wù)，性能調(diào)優(yōu)結(jié)果首次全面超越數(shù)據(jù)庫(kù)專家，這將大幅提高數(shù)據(jù)庫(kù)運(yùn)維效率。

圖1 強(qiáng)化學(xué)習(xí)與數(shù)據(jù)庫(kù)性能優(yōu)化關(guān)系圖

如圖2所示，在多種不同負(fù)載和不同類型的數(shù)據(jù)庫(kù)下進(jìn)行的大量實(shí)驗(yàn)證明，CDBTune性能優(yōu)化結(jié)果明顯優(yōu)于目前已有數(shù)據(jù)庫(kù)調(diào)優(yōu)工具和DBA專家。即使在彈性云環(huán)境下，用戶購(gòu)買(mǎi)數(shù)據(jù)庫(kù)內(nèi)存或磁盤(pán)大小發(fā)生變化，或負(fù)載發(fā)生變化（類型不變）的情況下，實(shí)驗(yàn)證明CDBTune依然保持了較好的適應(yīng)能力。

圖2 CDBTune性能測(cè)試結(jié)果

在實(shí)際系統(tǒng)中，如圖3所示，當(dāng)用戶或者系統(tǒng)管理員有數(shù)據(jù)庫(kù)性能優(yōu)化需求時(shí)，可以通過(guò)相應(yīng)的交互接口提出調(diào)參優(yōu)化請(qǐng)求，此時(shí)云端的控制器通過(guò)給智能優(yōu)化系統(tǒng)發(fā)出調(diào)參請(qǐng)求，并根據(jù)用戶真實(shí)負(fù)載建立的深度強(qiáng)化學(xué)習(xí)模型推薦出的相應(yīng)的參數(shù)配置，然后將該配置在數(shù)據(jù)庫(kù)中進(jìn)行設(shè)置。反復(fù)執(zhí)行上述的執(zhí)行過(guò)程，直到待調(diào)參的數(shù)據(jù)庫(kù)性能滿足用戶或系統(tǒng)管理員的需求即停止調(diào)參。

圖3 CDBTune系統(tǒng)交互圖

對(duì)于該論文，SIGMOD評(píng)審委員的評(píng)價(jià)是：“本文是關(guān)于利用機(jī)器學(xué)習(xí)方法優(yōu)化數(shù)據(jù)庫(kù)的技術(shù)，這是一個(gè)令人振奮的新領(lǐng)域。特別是它使用了強(qiáng)化學(xué)習(xí)的方法。這篇文章不僅僅是簡(jiǎn)單地拋出一個(gè)機(jī)器學(xué)習(xí)技術(shù)，而且非常好地解釋了機(jī)器學(xué)習(xí)是如何與特定的問(wèn)題進(jìn)行完全的匹配，同時(shí)也闡述了與傳統(tǒng)機(jī)器學(xué)習(xí)術(shù)語(yǔ)之間的類比問(wèn)題。鑒于在數(shù)據(jù)庫(kù)社區(qū)中并非每個(gè)人都能對(duì)這些技術(shù)了如指掌，這也是一種教學(xué)方式，因此我們非常贊賞這篇文章?！?/p>

每年SIGMOD會(huì)議都會(huì)吸引大量全球?qū)W術(shù)組織和工業(yè)界數(shù)據(jù)庫(kù)研究人員參會(huì)和分享，也匯聚了學(xué)術(shù)界和工業(yè)界在數(shù)據(jù)庫(kù)領(lǐng)域最前沿的技術(shù)研究動(dòng)向。