統(tǒng)計(jì)假設(shè)測(cè)試、多臂老虎機(jī)方法，揭示了多臂老虎機(jī)在實(shí)踐中的優(yōu)勢(shì)

編者按：Cheng-Tao Chu簡(jiǎn)要概述了統(tǒng)計(jì)假設(shè)測(cè)試、多臂老虎機(jī)（湯普森采樣）方法后，揭示了多臂老虎機(jī)在實(shí)踐中的優(yōu)勢(shì)。

隨著精益創(chuàng)業(yè)和大數(shù)據(jù)的興起，越來越多的公司開始擁抱A/B測(cè)試。盡管業(yè)界開始基于數(shù)據(jù)統(tǒng)計(jì)測(cè)試特性這一點(diǎn)很是振奮人心，但很少有公司意識(shí)到多臂老虎機(jī)這一優(yōu)于傳統(tǒng)統(tǒng)計(jì)假設(shè)測(cè)試的替代方案。本文將概述為何在大多數(shù)應(yīng)用中，多臂老虎機(jī)優(yōu)于假設(shè)測(cè)試。不熟悉為何基于數(shù)據(jù)測(cè)試特性很重要的讀者，可以看看我之前寫的博客文章 Bridging the gap between lean startup in theory and in practice。需要社會(huì)認(rèn)同的讀者，Google Analytics用的就是多臂老虎機(jī)方案。

統(tǒng)計(jì)假設(shè)測(cè)試概述

A/B測(cè)試的假設(shè)測(cè)試的目標(biāo)是查明觀測(cè)到的轉(zhuǎn)化率差異是否有運(yùn)氣以外的解釋。標(biāo)準(zhǔn)方法如下：

計(jì)算零假設(shè)（null hypothesis）下的采樣分布

計(jì)算采樣分布下觀測(cè)到的似然，并

將概率與預(yù)先確定的閾值比較

盡管初看起來很直觀，實(shí)際上它需要不少統(tǒng)計(jì)學(xué)知識(shí)來恰當(dāng)?shù)卦O(shè)計(jì)試驗(yàn)及解釋結(jié)果。例如：

如何約束第二類錯(cuò)誤？

如何同時(shí)測(cè)試兩個(gè)以上的實(shí)驗(yàn)組？

需要多少項(xiàng)觀測(cè)？

正確的閾值是多少？

能不能提前查看結(jié)果并及早終止試驗(yàn)？

多臂老虎機(jī)概述

“多臂老虎機(jī)”這一名稱描述了這樣一個(gè)場(chǎng)景：一名賭徒面對(duì)著幾臺(tái)“單臂老虎機(jī)”，每臺(tái)老虎機(jī)的期望返水不同。目標(biāo)是最大化一系列拉桿操作的總回報(bào)。為了達(dá)成這一目標(biāo)，多臂老虎機(jī)動(dòng)態(tài)平衡通過拉動(dòng)不確定的搖桿收集信息的代價(jià)（探索）和拉動(dòng)已知回報(bào)豐厚的拉桿的累計(jì)回報(bào)（利用）。

在A/B測(cè)試的語境下，每臺(tái)老虎機(jī)代表試驗(yàn)中的一個(gè)實(shí)驗(yàn)組，每次拉動(dòng)搖桿代表一個(gè)實(shí)驗(yàn)組的一次曝光，累計(jì)回報(bào)代表累計(jì)轉(zhuǎn)化。多臂老虎機(jī)問題有很多不同的算法，比如UCB、Epsilon-Greedy等，本文將聚焦于一種名為“湯普森采樣”的算法。

湯普森采樣概述

湯普森采樣的思路非常簡(jiǎn)單。該算法維護(hù)每臂的返水率的后驗(yàn)分布，按照在該后驗(yàn)分布下給定臂最優(yōu)的概率，成比例地拉動(dòng)拉桿，接著根據(jù)新觀測(cè)更新后驗(yàn)。例如，對(duì)兩個(gè)觀測(cè)到轉(zhuǎn)化率為10/150和5/100（轉(zhuǎn)化數(shù)/曝光）的實(shí)驗(yàn)組而言，其后驗(yàn)轉(zhuǎn)化率分布為Beta(10, 140)和(5, 95)。根據(jù)轉(zhuǎn)化率，后續(xù)的測(cè)試應(yīng)該在第一個(gè)實(shí)驗(yàn)組上進(jìn)行，因?yàn)樵摻M的轉(zhuǎn)化率較高。但湯普森采樣并不采用這種確定的方法，而是基于當(dāng)前的后驗(yàn)轉(zhuǎn)化率分布隨機(jī)取樣，決定在哪個(gè)實(shí)驗(yàn)組上進(jìn)行，兩者的概率分別為P(第一組是最佳實(shí)驗(yàn)組)和P(第二組是最佳實(shí)驗(yàn)組)。最后，根據(jù)新觀測(cè)數(shù)據(jù)更新后驗(yàn)分布。致不熟悉貝葉斯統(tǒng)計(jì)的讀者，貝塔分布經(jīng)常用作伯努利分布（用來建模轉(zhuǎn)化率）的共軛先驗(yàn)分布。

比較

現(xiàn)在我們已經(jīng)基本了解統(tǒng)計(jì)假設(shè)測(cè)試和多臂老虎機(jī)（湯普森采樣），讓我們比較一下兩者。

湯普森采樣更簡(jiǎn)單。要恰當(dāng)?shù)亟忉尳y(tǒng)計(jì)假設(shè)測(cè)試，從業(yè)者需要對(duì)基本的統(tǒng)計(jì)學(xué)測(cè)試具有良好的理解，例如，提前查看結(jié)果需要了解功效分析、偏差修正，處理多實(shí)驗(yàn)組同樣需要了解偏差修正，等等。另一方面，從業(yè)者只需理解基本的貝葉斯統(tǒng)計(jì)就可以理解湯普森采樣。解釋結(jié)果時(shí)，較簡(jiǎn)單的概念不容易出錯(cuò)。

湯普森采樣直接估計(jì)哪個(gè)臂最優(yōu)的概率。統(tǒng)計(jì)假設(shè)測(cè)試試圖回答“假定所有實(shí)驗(yàn)組轉(zhuǎn)化率相同的極端情形下，觀測(cè)到當(dāng)前狀況的概率”。而湯普森采樣則試圖回答“給定這些觀測(cè)，給定的每個(gè)臂最優(yōu)的概率”。盡管這兩個(gè)問題都是合理的，湯普森采樣要容易理解得多，并自然而然地折衷第一類錯(cuò)誤和第二類錯(cuò)誤。

多臂老虎機(jī)通常更快收斂。由于多臂老虎機(jī)方案是自適應(yīng)的，識(shí)別最佳臂（如果它存在）所需的試驗(yàn)數(shù)通常遠(yuǎn)低于統(tǒng)計(jì)假設(shè)測(cè)試所需的試驗(yàn)數(shù)。然而，它也意味著，當(dāng)所有實(shí)驗(yàn)組一樣的時(shí)候，需要一個(gè)單獨(dú)的停止標(biāo)準(zhǔn)。

多臂老虎機(jī)可以自然地推廣至多實(shí)驗(yàn)組。這是多臂老虎機(jī)真正出彩之處。由于多臂老虎機(jī)是自適應(yīng)的，它可以很快決定哪個(gè)臂不太可能是最優(yōu)的，并以較低的概率拉動(dòng)這些較差的拉桿。另一方面，在統(tǒng)計(jì)假設(shè)測(cè)試中，每個(gè)實(shí)驗(yàn)組分配到的試驗(yàn)數(shù)目是一樣的（由試驗(yàn)之前的功效分析決定）。

總結(jié)一下，在實(shí)踐中，相比傳統(tǒng)統(tǒng)計(jì)假設(shè)測(cè)試，多臂老虎機(jī)有許多優(yōu)勢(shì)。它通常更快收斂，誤解的空間更小，能更好地推廣至多實(shí)驗(yàn)組，需要調(diào)節(jié)的參數(shù)也較少。向認(rèn)真對(duì)待A/B測(cè)試的創(chuàng)業(yè)公司強(qiáng)烈推薦多臂老虎機(jī)方法。

如果你喜歡這篇博客文章，可以在Twitter上關(guān)注我（chengtao_chu）或者訂閱我的博客ML in the Valley。另外，特別感謝 Ian Wong（ihat）和Bob Ren (bobrenjc93) 審閱本文草稿。