基于Q-learning的碼率控制算法

　　近年來，各界對(duì)多媒體內(nèi)容傳輸特別是視頻流服務(wù)越來越重視。在盡力交付的互聯(lián)網(wǎng)上支持可靠視頻流傳輸，基于HTTP的自適應(yīng)流（HAS，HTTP　adaptive streaming）已經(jīng)成為視頻業(yè)務(wù)技術(shù)的發(fā)展趨勢(shì)。

　　HAS采用碼流切換技術(shù)動(dòng)態(tài)調(diào)整碼率，整個(gè)過程由自適應(yīng)算法負(fù)責(zé)?？捎脦捁浪愫痛a率選擇是客戶端碼率自適應(yīng)算法的2個(gè)核心功能。根據(jù)媒體片段的TCP平均下載吞吐量估算網(wǎng)絡(luò)帶寬。碼率決策從視頻碼率集中選擇低于估算網(wǎng)絡(luò)可用帶寬的最大碼率等級(jí)。這種碼率選擇方法易造成視頻碼率的頻繁切換，給觀看者帶來不舒適的體驗(yàn)，且設(shè)定硬編碼的碼率選擇策略靈活性偏低，無法應(yīng)對(duì)變化多樣的網(wǎng)絡(luò)配置和網(wǎng)絡(luò)帶寬。

　　將自適應(yīng)視頻流的傳輸建模成優(yōu)化控制問題可以提升碼率決策的靈活性。增強(qiáng)學(xué)習(xí)通過早期離線訓(xùn)練，學(xué)習(xí)最優(yōu)的控制策略，然后將策略應(yīng)用在實(shí)時(shí)自適應(yīng)控制中，能夠提升客戶端碼率決策機(jī)制的靈活性和自適應(yīng)性。

　　本文設(shè)計(jì)基于Q一1eaming的碼率決策，設(shè)計(jì)合適數(shù)量的環(huán)境狀態(tài)組成元素，根據(jù)可用帶寬和實(shí)時(shí)緩存數(shù)據(jù)填充量進(jìn)行環(huán)境狀態(tài)建模；從HTTP視頻流服務(wù)質(zhì)量的角度考慮，選擇與用戶體驗(yàn)質(zhì)量（OoE）相關(guān)的3個(gè)方面：視頻質(zhì)量等級(jí)高低、視頻播放期間切換帶來的損失及緩存區(qū)數(shù)據(jù)溢出危險(xiǎn)性來構(gòu)建新的回報(bào)函數(shù)。實(shí)驗(yàn)結(jié)果表明，在HAS自適應(yīng)算法的碼率決策部分引入本文提出的Q—le鋤ing算法，增強(qiáng)了碼率決策的靈活性，視頻碼率切換的穩(wěn)定性優(yōu)于未結(jié)合機(jī)器學(xué)習(xí)方法的算法。