IT團(tuán)隊(duì)提升機(jī)器學(xué)習(xí)的五個(gè)技能分享

　　機(jī)器學(xué)習(xí)和AI繼續(xù)深入IT服務(wù)中，并補(bǔ)充軟件工程師開(kāi)發(fā)的應(yīng)用程序。如果IT團(tuán)隊(duì)想跟上這種步伐，必須提高他們的機(jī)器學(xué)習(xí)技能。

　　云計(jì)算服務(wù)支持構(gòu)建和部署AI及機(jī)器學(xué)習(xí)應(yīng)用程序的各種功能。在很多方面，AI系統(tǒng)的管理與IT專業(yè)人員在云端熟悉的其他軟件非常相似。但是，僅僅因?yàn)槟橙丝梢圆渴饝?yīng)用程序，并不一定意味著他們可以成功部署機(jī)器學(xué)習(xí)模型。

　　盡管這些共性可能會(huì)加快過(guò)渡，但仍存在重大差異。除了軟件工程技能外，你的IT團(tuán)隊(duì)成員還需要特定的機(jī)器學(xué)習(xí)和AI知識(shí)。除技術(shù)專長(zhǎng)外，他們還需要了解當(dāng)前可用于支持其團(tuán)隊(duì)計(jì)劃的云計(jì)算工具。

　　下面讓我們探索IT專業(yè)人員在云端成功利用AI所需的5個(gè)機(jī)器學(xué)習(xí)技能，并了解Amazon、微軟和谷歌為支持這些技能所提供的產(chǎn)品。在這些技能集中，雖然存在一些重疊，但不要期望一個(gè)人具備所有技能。通過(guò)組建具有這些技能的人員的團(tuán)隊(duì)，可使你的企業(yè)處于最佳位置，以利用基于云的機(jī)器學(xué)習(xí)。

　　1.數(shù)據(jù)工程

　　如果IT專業(yè)人員想在云端實(shí)現(xiàn)任何類型的AI策略，都需要了解數(shù)據(jù)工程。數(shù)據(jù)工程包含一系列技能，這涉及數(shù)據(jù)整理和工作流開(kāi)發(fā)領(lǐng)域，以及軟件架構(gòu)知識(shí)。

　　IT專業(yè)知識(shí)的這些不同領(lǐng)域可以分解為IT專業(yè)人員應(yīng)完成的不同任務(wù)。例如，數(shù)據(jù)整理通常涉及數(shù)據(jù)源標(biāo)識(shí)、數(shù)據(jù)提取、數(shù)據(jù)質(zhì)量評(píng)估、數(shù)據(jù)集成以及在生產(chǎn)環(huán)境中執(zhí)行這些操作的管道開(kāi)發(fā)。

　　數(shù)據(jù)工程師應(yīng)該習(xí)慣使用關(guān)系數(shù)據(jù)庫(kù)、NoSQL數(shù)據(jù)庫(kù)和對(duì)象存儲(chǔ)系統(tǒng)。Python是一種流行的編程語(yǔ)言，可結(jié)合批處理和流處理平臺(tái)（例如ApacheBeam）以及分布式計(jì)算平臺(tái)（例如ApacheSpark）使用。即使你不是專業(yè)的Python程序員，只要具備一定的語(yǔ)言知識(shí)，你都可以從針對(duì)數(shù)據(jù)工程和機(jī)器學(xué)習(xí)的各種開(kāi)源工具中提高技能。

　　數(shù)據(jù)工程在所有主要云端都得到很好的支持。AWS提供全面的服務(wù)來(lái)支持?jǐn)?shù)據(jù)工程，例如AWSGlue、AmazonManagedStreamingforApacheKafka（MSK）和各種AmazonKinesis服務(wù)。AWSGlue是數(shù)據(jù)目錄以及提取、轉(zhuǎn)換和加載（ETL）服務(wù)，其中包括對(duì)計(jì)劃作業(yè)的支持。MSK是數(shù)據(jù)工程管道的有用構(gòu)建塊，而Kinesis服務(wù)對(duì)于部署可擴(kuò)展流處理管道特別有用。

　　GoogleCloudPlatform則提供CloudDataflow，這是一項(xiàng)托管的ApacheBeam服務(wù)，支持批處理和Steam處理。對(duì)于ETL流程，GoogleCloudDataFusion提供基于Hadoop的數(shù)據(jù)集成服務(wù)。MicrosoftAzure還提供多種托管數(shù)據(jù)工具，例如AzureCosmosDB、DataCatalog和DataLakeAnalytics等。

　　2.模型構(gòu)建

　　機(jī)器學(xué)習(xí)是發(fā)展良好的學(xué)科，你可以通過(guò)研究和開(kāi)發(fā)機(jī)器學(xué)習(xí)算法來(lái)發(fā)展自己的職業(yè)。

　　IT團(tuán)隊(duì)使用工程師提供的數(shù)據(jù)來(lái)構(gòu)建模型，并創(chuàng)建軟件以提出建議、預(yù)測(cè)價(jià)值和對(duì)條目進(jìn)行分類。重要的是要了解機(jī)器學(xué)習(xí)技術(shù)的基礎(chǔ)知識(shí)，即使很多模型構(gòu)建過(guò)程都是在云端自動(dòng)完成。

　　作為模型構(gòu)建者，你需要了解數(shù)據(jù)和業(yè)務(wù)目標(biāo)。你需要構(gòu)想解決方案來(lái)解決問(wèn)題，并了解如何將其與現(xiàn)有系統(tǒng)集成。

　　現(xiàn)在市場(chǎng)上提供現(xiàn)成的產(chǎn)品，例如谷歌的CloudAutoML，這套服務(wù)可以幫助你使用結(jié)構(gòu)化數(shù)據(jù)以及圖像、視頻和自然語(yǔ)言來(lái)構(gòu)建自定義模型，而無(wú)需對(duì)機(jī)器學(xué)習(xí)有太多的了解。而Azure在VisualStudio中提供ML.NET模型構(gòu)建器，該模型構(gòu)建器提供界面用于構(gòu)建、訓(xùn)練和部署模型。

　　AmazonSageMaker是另一項(xiàng)托管服務(wù)，用于在云端構(gòu)建和部署機(jī)器學(xué)習(xí)模型。這些工具可以選擇算法，確定數(shù)據(jù)中哪些特征或?qū)傩宰钣袃r(jià)值，并使用稱為超參數(shù)調(diào)整的過(guò)程優(yōu)化模型。這些服務(wù)擴(kuò)展了機(jī)器學(xué)習(xí)和AI策略的潛在用途。正如你不需要成為機(jī)械工程師就能駕駛汽車(chē)一樣，你也不需要機(jī)器學(xué)習(xí)的研究生學(xué)位即可建立有效的模型。

　　3.公平與偏差檢測(cè)

　　算法做出的決策將直接且顯著影響個(gè)人。例如，金融服務(wù)利用AI做出有關(guān)信貸的決策，這可能會(huì)無(wú)意中偏向特定人群。這不僅可能因拒絕信貸來(lái)傷害個(gè)人，而且還使金融機(jī)構(gòu)面臨違反《平等信貸機(jī)會(huì)法》等法規(guī)的風(fēng)險(xiǎn)。

　　這些看似艱巨的任務(wù)對(duì)于AI和機(jī)器學(xué)習(xí)模型是不可避免的事情。檢測(cè)模型中的偏差可能需要精通的統(tǒng)計(jì)和機(jī)器學(xué)習(xí)技能，但與模型構(gòu)建一樣，某些繁重的工作可以由機(jī)器完成。

　　FairML是用于審核預(yù)測(cè)模型的開(kāi)源工具，可幫助開(kāi)發(fā)人員識(shí)別工作中的偏見(jiàn)。檢測(cè)模型偏差的經(jīng)驗(yàn)還可以幫助告知數(shù)據(jù)工程和模型構(gòu)建過(guò)程。GoogleCloud的公平性工具在市場(chǎng)上領(lǐng)先，其中包括What-IfTool、FairnessIndicators和ExplainableAI服務(wù)。

　　4.模型性能評(píng)估

　　模型構(gòu)建過(guò)程的一部分是評(píng)估機(jī)器學(xué)習(xí)模型的性能。例如，分類分析是根據(jù)準(zhǔn)確性、精確度和召回率進(jìn)行評(píng)估。而回歸模型（例如預(yù)測(cè)房屋出售價(jià)格的模型）通過(guò)測(cè)量其平均錯(cuò)誤率進(jìn)行評(píng)估。

　　現(xiàn)在表現(xiàn)良好的模型將來(lái)可能會(huì)表現(xiàn)不佳。這里問(wèn)題不是，該模型會(huì)以某種方式被破壞，而是訓(xùn)練該模型數(shù)據(jù)會(huì)過(guò)時(shí)，而無(wú)法再反映未來(lái)世界的情況。即使沒(méi)有突然的重大事件，也會(huì)發(fā)生數(shù)據(jù)漂移。重要的是評(píng)估模型并在生產(chǎn)中繼續(xù)對(duì)其進(jìn)行監(jiān)視。

　　AmazonSageMaker、AzureMachineLearningStudio和GoogleCloudAutoML等服務(wù)都包含模型性能評(píng)估工具。

　　5.領(lǐng)域知識(shí)

　　領(lǐng)域知識(shí)并不是專門(mén)的機(jī)器學(xué)習(xí)技能，而是成功機(jī)器學(xué)習(xí)策略中最重要的部分之一。

　　每個(gè)行業(yè)都有自己的知識(shí)體系，因此需要對(duì)相關(guān)行業(yè)進(jìn)行研究，尤其是在構(gòu)建算法決策工具時(shí)。機(jī)器學(xué)習(xí)模型受限于用于訓(xùn)練它們的數(shù)據(jù)。而具有領(lǐng)域知識(shí)的人可以知道在哪里應(yīng)用AI并評(píng)估其有效性。
責(zé)任編輯人：CC