AutoML新書:AutoML系統(tǒng)背后的基礎(chǔ)知識(shí)

近期，由Frank Hutter, Lars Kotthoff, Joaquin Vanschoren撰寫的新書《AUTOML：方法，系統(tǒng)，挑戰(zhàn)》221頁的草稿版本已經(jīng)放出，詳細(xì)講解了AutoML系統(tǒng)背后的基礎(chǔ)知識(shí)，以及對(duì)當(dāng)前AutoML系統(tǒng)進(jìn)行了深入描述。新書將由NIPS 2018出版發(fā)行。

近期，由Frank Hutter, Lars Kotthoff, Joaquin Vanschoren撰寫的《AUTOML：方法，系統(tǒng)，挑戰(zhàn)》“AUTOML: METHODS, SYSTEMS, CHALLENGES (NEW BOOK)” 221頁的草稿版本已經(jīng)放出，詳細(xì)講解了所有AutoML系統(tǒng)背后的基礎(chǔ)知識(shí)，以及對(duì)當(dāng)前AutoML系統(tǒng)進(jìn)行了深入描述，Auto-WEKA、Hyperopt-Sklearn、Auto-sklearn等，最后介紹了AutoML的挑戰(zhàn)。作者當(dāng)前正在完成這本新書的編輯工作，它將由NIPS 2018出版發(fā)行。

如果你用過機(jī)器學(xué)習(xí)算法，那一定體驗(yàn)被算法調(diào)參支配的恐怖。面對(duì)錯(cuò)綜復(fù)雜的算法參數(shù)，算法使用者們往往要花費(fèi)無盡的黑夜去不斷嘗試，猶如大海撈針。有的時(shí)候加班到深夜，終于找到了一個(gè)靠譜的參數(shù)組合，然而找到的參數(shù)組合真的是最優(yōu)的么？天知道。

然而在搭建機(jī)器學(xué)習(xí)鏈路的過程中，往往不止調(diào)參這一步耗時(shí)耗力。好不容易生成了算法模型，怎么把模型部署成服務(wù)供手機(jī)、PC這些終端調(diào)用也是困擾開發(fā)同學(xué)的一大難題。有的時(shí)候，為了打通這樣的鏈路，要耗費(fèi)整晚的時(shí)間調(diào)試不同格式的模型和服務(wù)端的關(guān)聯(lián)。

在2018年谷歌云全球NEXT大會(huì)（Google CloudNext 18）上，李飛飛宣布，谷歌AutoML Vision進(jìn)入公共測(cè)試版，并推出了兩款新的AutoML產(chǎn)品：AutoML Natural Language和AutoML Translation。

這個(gè)名為Cloud AutoML的宏大項(xiàng)目浮出水面之時(shí)，被業(yè)內(nèi)稱為“Google Cloud發(fā)展的戰(zhàn)略轉(zhuǎn)型”——一直以來面向機(jī)器學(xué)習(xí)人工智能開發(fā)者的Google Cloud，這次將服務(wù)對(duì)象轉(zhuǎn)向了普羅大眾。

當(dāng)時(shí)這一已經(jīng)從單純的視覺拓展到翻譯、視頻和自然語言處理領(lǐng)域。

谷歌的宏偉愿景由此可見一斑——你只需在改系統(tǒng)中上傳自己的標(biāo)簽數(shù)據(jù)，大能得到一個(gè)訓(xùn)練好的機(jī)器學(xué)習(xí)模型。整個(gè)過程，從導(dǎo)入數(shù)據(jù)到標(biāo)記到模型訓(xùn)練，都可以通過拖放界面完成。

其實(shí)在谷歌發(fā)布AutoML前后，機(jī)器學(xué)習(xí)自動(dòng)化的產(chǎn)品風(fēng)潮已經(jīng)吹起：2017年底，微軟發(fā)布CustomVision.AI，涵蓋圖像、視頻、文本和語音等各個(gè)領(lǐng)域。今年 1 月，他們又推出了完全自動(dòng)化的平臺(tái) Microsoft Custom Vision Services（微軟定制視覺服務(wù)）。

此外，另一個(gè)比較火爆的AI自動(dòng)化產(chǎn)品OneClick.AI 是 2017 年底出現(xiàn)在市場(chǎng)上的一個(gè)自動(dòng)化機(jī)器學(xué)習(xí)（AML）平臺(tái)，其中既包括傳統(tǒng)的算法，也包括深度學(xué)習(xí)算法。同年，國內(nèi)也出現(xiàn)了不少相關(guān)產(chǎn)品，稱能夠解放算法工程師，讓AI自動(dòng)化。

AutoML 是什么?

傳統(tǒng)上，術(shù)語AutoML用于描述模型選擇和/或超參數(shù)優(yōu)化的自動(dòng)化方法。這些方法適用于許多類型的算法，例如隨機(jī)森林，梯度提升機(jī)器（gradient boosting machines），神經(jīng)網(wǎng)絡(luò)等。 AutoML領(lǐng)域包括開源AutoML庫，研討會(huì)，研究和比賽。初學(xué)者常常覺得他們?cè)跒槟Ｐ蜏y(cè)試不同的超參數(shù)時(shí)通常僅憑猜測(cè)，而將這部分過程的自動(dòng)化可以使機(jī)器學(xué)習(xí)變得更加容易。即使是對(duì)經(jīng)驗(yàn)豐富的機(jī)器學(xué)習(xí)從業(yè)者而言，這一自動(dòng)化過程也可以加快他們的速度。

業(yè)內(nèi)現(xiàn)存有許多AutoML庫，其中最早出現(xiàn)的是AutoWEKA，它于2013年首次發(fā)布，可以自動(dòng)選擇模型和超參數(shù)。其他值得注意的AutoML庫包括auto-sklearn（將AutoWEKA拓展到了python環(huán)境），H2O AutoML和TPOT。 AutoML.org（以前被稱為ML4AAD，Machine Learning for AutomatedAlgorithm Design）小組，自2014年以來一直在ICML機(jī)器學(xué)習(xí)學(xué)術(shù)會(huì)議上組織AutoML研討會(huì)。

AutoML 有用嗎？

AutoML提供了一種選擇模型和優(yōu)化超參數(shù)的方法。它還可以用于獲取對(duì)于一個(gè)問題可能性能的基準(zhǔn)結(jié)果。這是否意味著數(shù)據(jù)科學(xué)家將被取代？ 并非如此，因?yàn)槲覀冎溃瑱C(jī)器學(xué)習(xí)從業(yè)者還有許多其他事情要做。

對(duì)于許多機(jī)器學(xué)習(xí)項(xiàng)目，選擇模型不過是構(gòu)建機(jī)器學(xué)習(xí)產(chǎn)品復(fù)雜過程中的一部分。 正如我在上一篇文章中所述，如果參與者不了解項(xiàng)目各個(gè)部分是如何相互關(guān)聯(lián)的，那么項(xiàng)目必然會(huì)失敗。我能想到過程中可能會(huì)涉及的30多個(gè)不同步驟。我必須要強(qiáng)調(diào)，機(jī)器學(xué)習(xí)（特別是深度學(xué)習(xí)）中最耗時(shí)的兩個(gè)方面是清理數(shù)據(jù)（這是機(jī)器學(xué)習(xí)中不可或缺的一部分）和訓(xùn)練模型。 雖然AutoML可以幫助選擇模型并選擇超參數(shù)，但重要的是，我們?nèi)匀灰砬逵心男?shù)據(jù)科學(xué)的技能是需要的以及那些仍未解決的難題。

我將提出一些替代AutoML方法的建議，以使機(jī)器學(xué)習(xí)從業(yè)者在進(jìn)行最后一步時(shí)更有效率。

參考文獻(xiàn)：

1.https://yq.aliyun.com/articles/629037

2.http://www.fast.ai/2018/07/16/auto-ml2/#auto-ml

3.https://www.automl.org/book/?utm_campaign=NLP%20News&utm_medium=email&utm_source=Revue%20newsletter

AUTOML: METHODS, SYSTEMS, CHALLENGES (NEW BOOK)新書獲取地址：

https://www.automl.org/book/

全文目錄如下：

第一部分：AutoML方法

本部分包含有關(guān)所有AutoML系統(tǒng)背后的基礎(chǔ)知識(shí)的最新概述。

第1章：超參數(shù)優(yōu)化。由Matthias Feurer和Frank Hutter撰寫

第2章：元學(xué)習(xí)。作者：Joaquin Vanschoren

第3章：神經(jīng)架構(gòu)搜索。作者：Thomas Elsken，Jan-Hendrik Metzen和Frank Hutter

第二部分：AutoML系統(tǒng)

本部分包含對(duì)各種可用AutoML系統(tǒng)的深入描述，這些系統(tǒng)可用于開箱即用的有效機(jī)器學(xué)習(xí)。

第4章：Auto-WEKA。作者:Lars Kotthoff,Chris Thornton, Holger H. Hoos, Frank Hutter和Kevin Leyton-Brown

第5章：Hyperopt-Sklearn。由Brent Komer和James Bergstra以及Chris Eliasmith撰寫

第6章：Auto-sklearn：高效，強(qiáng)大的自動(dòng)機(jī)器學(xué)習(xí)。作者：MatthiasFeurer，Aaron Klein，Katharina Eggensperger，Jost Tobias Springenberg和Manuel Blum以及Frank Hutter

第7章：自動(dòng)網(wǎng)絡(luò)：自動(dòng)調(diào)參的神經(jīng)網(wǎng)絡(luò)。由Hector Mendoza和Aaron Klein以及Matthias Feurer和Jost Tobias Springenberg以及Matthias Urban和Michael Burkart以及Max Dippel和Marius Lindauer以及Frank Hutter

第8章：TPOT：自動(dòng)機(jī)器學(xué)習(xí)的工具。作者：Randal S. Olson和Jason H. Moore

第9章：自動(dòng)統(tǒng)計(jì)學(xué)家。ChristianSteinruecken和Emma Smith以及David Janz和James Lloyd以及Zoubin Ghahramani

第三部分：AutoML的挑戰(zhàn)

本部分對(duì)迄今為止所有的AutoML挑戰(zhàn)進(jìn)行了深入分析。

第10章：分析2015-2018AutoML一系列挑戰(zhàn)。由Isabelle Guyon，Lisheng Sun-Hosoya，Marc Boull e，Hugo Jair Escalante，Sergio Escalera以及Zhengying Liu，Damir Jajetic，Bisakha Ray，Mehreen Saeed，Michele Sebag，Alexander Statnikov，Wei-Wei Tu和Evelyne Viegas編寫