企業(yè)在機(jī)器學(xué)習(xí)時(shí)代如何前行

在過去的幾年間，數(shù)據(jù)社區(qū)已經(jīng)在關(guān)注收集和整理數(shù)據(jù)，為此目的構(gòu)建基礎(chǔ)設(shè)施，并使用數(shù)據(jù)來改善決策制定?，F(xiàn)在我們看到，在很多垂直領(lǐng)域，對(duì)于高級(jí)分析和機(jī)器學(xué)習(xí)的興趣高漲。

在本博文里，我會(huì)分享和解釋我在今年9月的Strata數(shù)據(jù)紐約大會(huì)上的演講，以此來為那些希望增加機(jī)器學(xué)習(xí)能力的企業(yè)提供一些建議。這些信息來自于和業(yè)界從業(yè)人員、研究人員和企業(yè)家的對(duì)話，他已經(jīng)把機(jī)器學(xué)習(xí)應(yīng)用在非常多的不同領(lǐng)域的問題里。

和其他的技術(shù)與方法類似，一個(gè)成功的機(jī)器學(xué)習(xí)項(xiàng)目是從找到一個(gè)正確的應(yīng)用場(chǎng)景開始的。機(jī)器學(xué)習(xí)有非常多可能的應(yīng)用，例如推薦系統(tǒng)和降低客戶流失等。一個(gè)有用的機(jī)器學(xué)習(xí)應(yīng)用的分類如下：

能增強(qiáng)決策制定的應(yīng)用

能帶來業(yè)務(wù)運(yùn)營(yíng)改進(jìn)的應(yīng)用

能產(chǎn)生收入的應(yīng)用

能預(yù)測(cè)或者防止欺詐或風(fēng)險(xiǎn)的應(yīng)用

為了能成為“機(jī)器學(xué)習(xí)型企業(yè)”，讓你自己了解開始部署模型時(shí)將會(huì)面臨的困難是非常有益處的。如果你去咨詢那些機(jī)器學(xué)習(xí)的先行者，通常會(huì)得到如下三個(gè)東西：

數(shù)據(jù)：目前大部分應(yīng)用個(gè)都依賴于監(jiān)督學(xué)習(xí)。因此一切都要從擁有高質(zhì)量的標(biāo)注（訓(xùn)練）數(shù)據(jù)集開始。

工程化：你怎么能把一個(gè)原型變成生產(chǎn)系統(tǒng)？你如何在模型部署上線之后監(jiān)控它的表現(xiàn)？

模型：現(xiàn)在的機(jī)器學(xué)習(xí)庫(kù)已經(jīng)能把模型和數(shù)據(jù)適配變得很容易，那還有什么挑戰(zhàn)？

在文章下面的內(nèi)容里，我會(huì)逐個(gè)講述這些挑戰(zhàn)。

在構(gòu)建標(biāo)注數(shù)據(jù)集來訓(xùn)練你的機(jī)器學(xué)習(xí)模型時(shí)，重要的一點(diǎn)就是使用你已經(jīng)能找到的數(shù)據(jù)。新的數(shù)據(jù)源在持續(xù)地出現(xiàn)，數(shù)據(jù)集成是大部分公司都在做的工作。你目前在數(shù)據(jù)基礎(chǔ)設(shè)施上的投入可能已經(jīng)給你足夠的數(shù)據(jù)來開始了。你也可以使用公共（開源）的數(shù)據(jù)來增強(qiáng)你現(xiàn)有的數(shù)據(jù)集，或是去從第三方購(gòu)買數(shù)據(jù)來增強(qiáng)。

好消息是機(jī)器學(xué)習(xí)社區(qū)已經(jīng)意識(shí)到訓(xùn)練數(shù)據(jù)是一個(gè)主要的瓶頸。研究人員已經(jīng)在研究一些能用比較少的訓(xùn)練數(shù)據(jù)開始的技術(shù)（弱監(jiān)督），以及可以讓你把一個(gè)問題里獲得的知識(shí)用于另外的場(chǎng)景（遷移學(xué)習(xí)）。

隨著數(shù)據(jù)重要性的增加，已有一些創(chuàng)業(yè)公司和企業(yè)在探索數(shù)據(jù)交易。數(shù)據(jù)交易讓企業(yè)間相互分享一些數(shù)據(jù)成為可能，同時(shí)還能保證私密性和隱秘性。目前已經(jīng)有一些研究成果來開發(fā)安全機(jī)器學(xué)習(xí)算法。對(duì)一些應(yīng)用，如消費(fèi)金融業(yè)里的欺詐檢查，能在保證隱私和安全的情況下，分享私密數(shù)據(jù)可能被證明是有價(jià)值的。

今年早些時(shí)候，我們注意到企業(yè)已經(jīng)開始定位一個(gè)新的角色，它專門把機(jī)器學(xué)習(xí)的模型進(jìn)行生產(chǎn)化部署，并監(jiān)控部署后的表現(xiàn)。但是這個(gè)機(jī)器學(xué)習(xí)工程師的角色就真的必要嗎？

對(duì)越來越多的公司來講，答案是肯定，這樣的專業(yè)技能是必須的。如果要列出一個(gè)能生產(chǎn)化并監(jiān)督模型必須了解的事情的清單，最后你會(huì)看到一堆工具和技術(shù)的列表。更具體的細(xì)節(jié)，建議你看看我之前的一篇博文《應(yīng)用數(shù)據(jù)科學(xué)的現(xiàn)狀》。

機(jī)器學(xué)習(xí)研究的發(fā)展速度是很快的?？梢怨降卣f，大部分企業(yè)是無法跟上研究出新技術(shù)和工具的速度。思考一下這個(gè)思維試驗(yàn)：想象一下未來五年，所有的研究進(jìn)展都暫停（絕不可能，但是請(qǐng)?jiān)试S我幽默一下）。我堅(jiān)定地認(rèn)為依然有足夠的工具能讓企業(yè)忙活一陣子來學(xué)習(xí)。

用深度學(xué)習(xí)這一已經(jīng)成功地應(yīng)用于計(jì)算機(jī)視覺和語音的技術(shù)作例子。絕大部分的企業(yè)依然處于應(yīng)用深度學(xué)習(xí)的早期階段，不管是把它用于企業(yè)已經(jīng)熟悉的數(shù)據(jù)（文本、時(shí)間序列數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)）或是使用它來代替現(xiàn)有的模型（包括他們現(xiàn)有的推薦系統(tǒng)）。我認(rèn)為在未來的幾年里會(huì)看到很多使用深度神經(jīng)網(wǎng)絡(luò)（DNN）的有趣案例。

深度學(xué)習(xí)帶來了所有令人激動(dòng)的東西，但也因此我們時(shí)常會(huì)忘記還有很多有趣的新數(shù)據(jù)應(yīng)用并不依賴于神經(jīng)網(wǎng)絡(luò)。請(qǐng)選擇適合你的技術(shù)和業(yè)務(wù)需求的那些技術(shù)。

隨著模型被推入邊緣設(shè)備，我對(duì)近期在聯(lián)合與協(xié)作學(xué)習(xí)方面的研究進(jìn)展非常感興趣。展望AI，可獲得的在線和持續(xù)學(xué)習(xí)的工具將會(huì)變得非常重要。

數(shù)據(jù)社區(qū)正在開始明白對(duì)于模型而言，遠(yuǎn)遠(yuǎn)不僅僅只是優(yōu)化一個(gè)定量或是業(yè)務(wù)指標(biāo)那么簡(jiǎn)單。模型足夠魯棒從而能應(yīng)對(duì)對(duì)抗攻擊嗎？對(duì)特定的應(yīng)用模型來說，可解釋與可理解是必須的嗎？

公平：你是否理解你的訓(xùn)練數(shù)據(jù)的分布？如果不是的話，請(qǐng)意識(shí)到過去的歧視將很有可能導(dǎo)致未來的歧視。

透明：隨著機(jī)器學(xué)習(xí)變得無處不在，用戶正越來越想知道企業(yè)在對(duì)什么指標(biāo)進(jìn)行優(yōu)化，并想對(duì)此發(fā)表意見。

盡管機(jī)器學(xué)習(xí)領(lǐng)域在近幾年已經(jīng)取得了很多進(jìn)步，但是依然有很多研究人員和理論家不知道的東西。我們尚處在“試錯(cuò)”的階段。深度學(xué)習(xí)可能是降低了特征工程的必要，但是在構(gòu)建深度神經(jīng)網(wǎng)絡(luò)時(shí)依然有很多需要決定的東西（包括網(wǎng)絡(luò)架構(gòu)和非常多的超參數(shù)）。

可以把模型的構(gòu)建看成是對(duì)機(jī)器學(xué)習(xí)算法空間的探索。企業(yè)需要能以有原則和高效的形式來進(jìn)行探索。這意味著企業(yè)要維護(hù)可再生的管道、保存試驗(yàn)里的元數(shù)據(jù)、擁有協(xié)作的工具和利用最新的研究成果。

那么，企業(yè)正在構(gòu)建的什么東西可以讓這一探索成為可能？大部分機(jī)器學(xué)習(xí)都要求有標(biāo)注（訓(xùn)練）數(shù)據(jù)，因此任何數(shù)據(jù)平臺(tái)開始都要有魯棒的數(shù)據(jù)管道，能夠把數(shù)據(jù)導(dǎo)入存儲(chǔ)系統(tǒng)，讓數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師可以使用。數(shù)據(jù)集成不是一件無足輕重的事情，是所有的企業(yè)都要做并會(huì)持續(xù)做的工作。

企業(yè)也正在賦能數(shù)據(jù)科學(xué)家來分享特征和能產(chǎn)生這些特征的數(shù)據(jù)管道。為了給你一個(gè)關(guān)于特征的重要性的概念，看看這個(gè)事實(shí)：大部分企業(yè)都能很容易地告訴你它們用了什么算法；但是他們卻很難描述哪些特征對(duì)模型最有用。

領(lǐng)先的企業(yè)讓他們的數(shù)據(jù)科學(xué)家使用多種機(jī)器學(xué)習(xí)庫(kù)。強(qiáng)迫你的數(shù)據(jù)科學(xué)家只使用一到兩個(gè)“保佑”過的庫(kù)時(shí)很瘋狂的。因?yàn)閿?shù)據(jù)科學(xué)家們要能做實(shí)驗(yàn)，這可能就意味著讓他們能使用多種庫(kù)。

已經(jīng)出現(xiàn)了一些公司，他們能提供生產(chǎn)化部署機(jī)器學(xué)習(xí)模型的工具，并可以在部署后監(jiān)控模型。一些企業(yè)也在利用開源技術(shù)來開發(fā)自己的部署和監(jiān)控工具。如果你在尋找一個(gè)開源的工具來部署和監(jiān)控模型，可以看看加州大學(xué)伯克利分校RISE實(shí)驗(yàn)室的新項(xiàng)目——Clipper。它可以讓你很容易地部署用多種流行的機(jī)器學(xué)習(xí)庫(kù)編寫的模型。更為重要的是，Clipper團(tuán)隊(duì)最近加入了模型的監(jiān)控部分。（一些企業(yè)將會(huì)在2018年3月的Strata數(shù)據(jù)圣何塞大會(huì)上介紹他們部署和監(jiān)控模型的方法。）

想成為“機(jī)器學(xué)習(xí)型企業(yè)”， 你需要工具和流程來克服數(shù)據(jù)、工程和模型方面的挑戰(zhàn)。很多企業(yè)僅僅是剛開始在他們的產(chǎn)品里使用和部署機(jī)器學(xué)習(xí)。工具正在被持續(xù)地改進(jìn)，最佳實(shí)踐也開始出現(xiàn)。

This article originally appeared in English： “How companies can navigate the age of machine learning”。

Ben Lorica是O‘Reilly Media公司的首席數(shù)據(jù)科學(xué)家和數(shù)據(jù)內(nèi)容策略總監(jiān)，他還是Strata數(shù)據(jù)大會(huì)和O’Reilly人工智能大會(huì)的項(xiàng)目主管。他將商務(wù)智能、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和統(tǒng)計(jì)分析應(yīng)用到了各種領(lǐng)域，包括直接營(yíng)銷、消費(fèi)者和市場(chǎng)研究、精確廣告投放、文本挖掘以及金融工程。他曾在投資管理公司、互聯(lián)網(wǎng)創(chuàng)業(yè)公司以及金融服務(wù)業(yè)任職。