華裔女博士提出：Facebook提出用于超參數(shù)調(diào)整的自我監(jiān)督學(xué)習(xí)框架

來源：Facebook

【導(dǎo)讀】Facebook的研究人員近日提出了一種用于超參數(shù)調(diào)整的自我監(jiān)督學(xué)習(xí)框架。這個新模型實現(xiàn)了準(zhǔn)確預(yù)測的結(jié)果，估計超參數(shù)的速度快了6到20倍。

近日，F(xiàn)acebook的研究人員提出了一種新的用于模型選擇(SSL-MS) 和超參數(shù)調(diào)整(SSL-HPT)的自監(jiān)督學(xué)習(xí)框架，該框架以較少的計算時間和資源提供準(zhǔn)確的預(yù)測。

與基于基線搜索的算法相比，SSL-HPT 算法估計超參數(shù)的速度快了6-20倍，同時在各種應(yīng)用中產(chǎn)生了比較準(zhǔn)確的預(yù)測結(jié)果。

SSL：估算超參數(shù)速度快6-20倍

在時間序列分析(用于發(fā)現(xiàn)趨勢或預(yù)測未來值)中，超參數(shù)的細(xì)微差別可能導(dǎo)致給定模型的非常不同的預(yù)測結(jié)果。

因此，選擇最優(yōu)的超參數(shù)值顯得尤為重要。

大多數(shù)現(xiàn)有的超參數(shù)調(diào)整方法，如網(wǎng)格搜索、隨機(jī)搜索和貝葉斯最優(yōu)搜索，都是基于一個關(guān)鍵組件: 搜索。

因此，它們計算代價非常昂貴，不能應(yīng)用于快速、可擴(kuò)展的時間序列超參數(shù)調(diào)整。

研究人員提出的框架 SSL-HPT 使用時間序列特征作為輸入（不犧牲精確度的情況下），在較短的時間內(nèi)產(chǎn)生最佳的超參數(shù)。

那么，它們是如何工作的呢？

研究人員開發(fā)的自監(jiān)督學(xué)習(xí)框架在預(yù)測時的兩個主要任務(wù): SSL-MS 和 SSL-HPT。

SSL-MS: SSL-MS 的自我監(jiān)督學(xué)習(xí)框架包括三個步驟，如下所示:

1 離線訓(xùn)練數(shù)據(jù)準(zhǔn)備: 獲得每個時間序列的時間序列特征和每個時間序列的最佳性能模型通過離線超參數(shù)調(diào)整。

2 離線訓(xùn)練: 利用步驟1中的數(shù)據(jù)訓(xùn)練分類器(自我監(jiān)督學(xué)習(xí)者) ，其中輸入特征(預(yù)測器)是時間序列特征，標(biāo)記是步驟1中性能最好的模型。

3 線模型預(yù)測: 在線服務(wù)中，對于新的時間序列數(shù)據(jù)，提取特征，然后使用預(yù)先訓(xùn)練的分類器進(jìn)行推理，例如隨機(jī)森林模型。

SSL-MS 的工作流程可以自然地擴(kuò)展到 SSL-HPT。

如下圖所示，給定一個模型，探索每個時間序列在預(yù)定義參數(shù)空間內(nèi)的所有超參數(shù)設(shè)置。

對于輸入 x，研究者在這里使用的時間序列特征與 SSL-MS 相同。

自監(jiān)督學(xué)習(xí)器一經(jīng)訓(xùn)練，就可以直接對超參數(shù)進(jìn)行預(yù)測，并針對任何新的時間序列數(shù)據(jù)產(chǎn)生預(yù)測結(jié)果。

最終，研究人員通過在內(nèi)部和外部數(shù)據(jù)集上對新型算法進(jìn)行了實證評估，并得到了相似的結(jié)論。

SSL 框架可以極大地提高模型選擇和超參數(shù)調(diào)整的效率，以可比的預(yù)測精度減少6-20倍的運(yùn)行時間。

預(yù)測為什么重要？

預(yù)測是 Facebook 的核心數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)任務(wù)之一，因此提供快速、可靠、準(zhǔn)確的預(yù)測結(jié)果和大量的時間序列數(shù)據(jù)對自身的業(yè)務(wù)非常重要。

這個框架的應(yīng)用包括容量規(guī)劃和管理、需求預(yù)測、能源預(yù)測和異常檢測。

計算技術(shù)的迅速發(fā)展使企業(yè)能夠跟蹤大量的時間序列數(shù)據(jù)集。因此，定期預(yù)測數(shù)百萬個時間序列的需求正變得越來越普遍。

但是，要獲得大量時間序列的快速且準(zhǔn)確的預(yù)測仍然具有挑戰(zhàn)性。

Facebook新提出的 SSL 框架提供了一個高效的解決方案，以低計算成本和短運(yùn)行時間提供高質(zhì)量的預(yù)測結(jié)果。

這種方法獨(dú)立于特定的預(yù)測模型和算法，因此享有單個預(yù)測技術(shù)的優(yōu)勢，例如 Prophet 模型的可解釋性。

初步分析表明， SSL框架可以擴(kuò)展到模型推薦，并在Facebook內(nèi)部 AX 庫中增強(qiáng)貝葉斯優(yōu)化算法。

論文一作：普渡大學(xué)華人學(xué)者

這篇論文一作是普渡大學(xué)大學(xué)的研究員Peiyi Zhang。

Peiyi Zhang本科畢業(yè)于浙江大學(xué)，并在康奈爾大學(xué)獲得了碩士學(xué)位，普渡大學(xué)獲得了博士學(xué)位。

去年6月，她還在Facebook進(jìn)行了兩個月的實習(xí)。

Peiyi Zhang曾獲得洛杉磯市數(shù)據(jù)分析項目榮譽(yù)獎、浙江大學(xué)學(xué)生科研訓(xùn)練計劃優(yōu)秀獎、大學(xué)生數(shù)學(xué)建模競賽優(yōu)秀獎。

Xiaodong Jiang是本片論文的第二作者，他目前在Facebook工作，擔(dān)任基礎(chǔ)設(shè)施研究數(shù)據(jù)科學(xué)家，開發(fā)通用時間序列分析工具。

他在佐治亞大學(xué)獲得了碩士和博士學(xué)位。

參考資料：

https://ai.facebook.com/blog/large-scale-forecasting-self-supervised-learning-framework-for-hyper-parameter-tuning/

編輯：jq