現(xiàn)代化機(jī)器學(xué)習(xí)工具，有助于數(shù)據(jù)科學(xué)開展更多工程功能

數(shù)據(jù)科學(xué)的發(fā)展日新月異，機(jī)器學(xué)習(xí)的角色正從數(shù)據(jù)科學(xué)的混合角色過渡到更多的工程或面相分析的角色，主要是以下的因素促成了這種變化。

1.機(jī)器學(xué)習(xí)模型更多地被應(yīng)用到生產(chǎn)系統(tǒng)中，需要數(shù)據(jù)科學(xué)家具有比以前更深入的技術(shù)技能。

2.商業(yè)產(chǎn)品和用戶行為的變化步伐加快，對(duì)自動(dòng)化的需求也增加。

3.還有出于數(shù)據(jù)合規(guī)和監(jiān)管的要求，增加了對(duì)數(shù)據(jù)的可追溯性和可解釋性的預(yù)測(cè)和決策的需求。

這些變化的因素也導(dǎo)致了數(shù)據(jù)科學(xué)家使用的工具發(fā)生了變化。使得他們更多地利用云，自動(dòng)化，可解釋性和可重復(fù)過程的方向去發(fā)展。

基于云的機(jī)器學(xué)習(xí)。云基礎(chǔ)架構(gòu)和Kubernetes改變了數(shù)據(jù)科學(xué)家進(jìn)行機(jī)器學(xué)習(xí)的方式。從能夠?qū)㈩A(yù)構(gòu)建的解決方案用作Saas應(yīng)用程序，到能夠在Kubernetes上運(yùn)行完整的機(jī)器學(xué)習(xí)堆棧。

AutoML和編排。AutoML簡(jiǎn)化了訓(xùn)練模型，提供了一種自動(dòng)的方法來進(jìn)行數(shù)據(jù)準(zhǔn)備，特征工程，超參數(shù)優(yōu)化或模型的選擇。

可解釋且可重復(fù)的ML。在過去幾年中，出現(xiàn)了一些庫和工具來幫助理解模型預(yù)測(cè)及其背后的權(quán)重并賦予其含義。如whatiftools，Lime，Shap或Manifold之類的工具可以幫助數(shù)據(jù)科學(xué)家來實(shí)現(xiàn)這一目標(biāo)。

基于云的機(jī)器學(xué)習(xí)

向云和Kubernetes的遷移是時(shí)下的主流方向，這推動(dòng)了機(jī)器學(xué)習(xí)工程師對(duì)更多DevOps或數(shù)據(jù)操作功能的需求。

深度學(xué)習(xí)的快速發(fā)展推動(dòng)了機(jī)器學(xué)習(xí)的進(jìn)步，但深度學(xué)習(xí)需要更多的計(jì)算資源，它的利用率隨工作負(fù)載變化很大，這迫使Tensorflow執(zhí)行程序在Kubernetes上運(yùn)行來支持更彈性和可擴(kuò)展的基礎(chǔ)架構(gòu)。

另一個(gè)因素是機(jī)器學(xué)習(xí)在生產(chǎn)環(huán)境中的重要性日益提高。這種轉(zhuǎn)變又增加了在原型堆棧和生產(chǎn)之間緊密結(jié)合的需求，并借助各種云的平臺(tái)，比如AWS SageMaker、Google Cloud ML Engine。這些工具提供了如模型部署和API配置之類的功能，從而簡(jiǎn)化了流程將模型推向生產(chǎn)的過程。

AutoML和機(jī)器學(xué)習(xí)工作流程

具有生產(chǎn)型機(jī)器學(xué)習(xí)系統(tǒng)的重要性的提高反過來加速了從培訓(xùn)到部署的整個(gè)機(jī)器學(xué)習(xí)價(jià)值鏈對(duì)自動(dòng)化的需求。自動(dòng)化允許更快地迭代和改進(jìn)模型。

AutoML提供了圍繞模型訓(xùn)練過程的自動(dòng)化層，可以處理其一些重復(fù)的任務(wù)。它可以處理如超參數(shù)優(yōu)化，功能和模型選擇之類的任務(wù)?，F(xiàn)在，像Tpot或AutoKeras之類的庫，以及大多數(shù)云提供商的機(jī)器學(xué)習(xí)即服務(wù)都將AutoML作為其解決方案的一部分。

對(duì)自動(dòng)化的需求也增加了對(duì)工具進(jìn)行編排的不同部分的需求。工作流工具如，Airflow，Kubeflow，MLFlow和MetaFlow是用于幫助實(shí)現(xiàn)這一目標(biāo)的一些關(guān)鍵工具。他們負(fù)責(zé)將整個(gè)機(jī)器學(xué)習(xí)過程作為一條流水線來處理，幫助協(xié)調(diào)從數(shù)據(jù)采集到模型服務(wù)的端到端流程。

可解釋且可重復(fù)的ML

合規(guī)和監(jiān)管影響了我們構(gòu)建機(jī)器學(xué)習(xí)模型的方式。他們推動(dòng)了可解釋和可復(fù)制的模型。

在可解釋的方面，已經(jīng)出現(xiàn)了一系列工具，可以幫助數(shù)據(jù)科學(xué)家從其模型中獲得意義。這些工具評(píng)估不同的方案，分析變量如何互操作，并提供儀表板以幫助解釋模型預(yù)測(cè)。whatiftools，Lime，Shap或Manifold是應(yīng)對(duì)這一挑戰(zhàn)的工具。

除了提供可靠的方法來調(diào)試模型的優(yōu)點(diǎn)外，可復(fù)制性是受法規(guī)影響的另一個(gè)方面?？傆锌赡苁褂霉ぷ髁鞴ぞ邉?chuàng)建可重復(fù)的機(jī)器學(xué)習(xí)管道，但仍出現(xiàn)了一些特定的工具來簡(jiǎn)化這個(gè)過程。

DVC，Dolt，Weight and Biases（WANDB）和Dags Hub等是一些專門的工具，使構(gòu)建模型，可重復(fù)的方式更簡(jiǎn)單。DVC負(fù)責(zé)模型和數(shù)據(jù)集的版本控制，而Dolt嚴(yán)格限于數(shù)據(jù)集本身。WANDB和Dags Hub則專注于跟蹤模型構(gòu)建/訓(xùn)練的權(quán)重和結(jié)果。

總結(jié)

機(jī)器學(xué)習(xí)工具，已經(jīng)不僅僅局限于利用一些預(yù)測(cè)庫和Jupyter筆記本?，F(xiàn)在，進(jìn)行數(shù)據(jù)科學(xué)需要掌握更廣泛的工具集，其中包括云，工作流工具，解釋和版本控制工具。這些增加的現(xiàn)代化工具應(yīng)有助于數(shù)據(jù)科學(xué)開展更多的工程或業(yè)務(wù)功能。