數(shù)據(jù)科學(xué)項(xiàng)目失敗9個(gè)最常見的原因

本文總結(jié)了數(shù)據(jù)科學(xué)項(xiàng)目失敗的最常見原因，希望能夠幫助你避免陷阱。

1問錯(cuò)了問題

如果你問了錯(cuò)問題，你將會得到錯(cuò)誤的答案。比如金融業(yè)中的欺詐識別問題，這個(gè)問題最初可能是“這個(gè)特定的交易是否存在欺詐”。為了確定這一問題，你將需要一個(gè)包含欺詐和非欺詐交易示例的數(shù)據(jù)集。這個(gè)數(shù)據(jù)集可以在一組專門負(fù)責(zé)偵測欺詐行為的專家(SME)的幫助下生成。但是，由于專家們依據(jù)的是過去對欺詐行為的認(rèn)識進(jìn)行的標(biāo)記，用該數(shù)據(jù)集訓(xùn)練的模型只會捕獲符合舊模式欺詐，而對于新興的欺詐方式，這一模型將無法識別。如果將問題改為“這個(gè)交易是否反?！?，它只需尋找不符合“正常”簽名的交易，依靠人類進(jìn)一步分析預(yù)測的欺詐交易以驗(yàn)證模型結(jié)果即可。但這種方法的副作用是，它很可能會比以前的模型產(chǎn)生更多的誤報(bào)。

2.試圖用它來解決錯(cuò)誤的問題

我們經(jīng)常會忽視一個(gè)問題：我們費(fèi)盡心思解決了一個(gè)問題，但是解決后是否能實(shí)現(xiàn)我們的目的。比如，你想出了用人工智能開發(fā)出一個(gè)將人的全身照傳上網(wǎng)站就能根據(jù)提醒量身定做一套合身的衣服的項(xiàng)目。完成這個(gè)項(xiàng)目我們需要完成以下任務(wù)：

·開發(fā)AI/ML技術(shù)以確定照片中的身體測量值;

·設(shè)計(jì)并創(chuàng)建一個(gè)網(wǎng)站和手機(jī)應(yīng)用，以便與客戶進(jìn)行互動;

·進(jìn)行可行性研究以確定此產(chǎn)品是否有市場。

作為技術(shù)專家，我們最熟悉的就是產(chǎn)品設(shè)計(jì)與編碼，因此我們可能想開始研究前兩個(gè)任務(wù)。如果我們在執(zhí)行前兩項(xiàng)任務(wù)后進(jìn)行可行性研究并且研究結(jié)果表明我們的產(chǎn)品沒有市場，那將很可怕。

3.沒有足夠的數(shù)據(jù)

有一些數(shù)據(jù)十分敏感并且受到嚴(yán)密的保護(hù)，對它的訪問可能會受到很大的限制，我們可能獲取不到相關(guān)數(shù)據(jù)。

比如，在一些與生命科學(xué)領(lǐng)域相關(guān)的項(xiàng)目中，由于生命科學(xué)行業(yè)對存儲和傳輸受保護(hù)的健康信息(PHI)非常敏感，大多數(shù)可用數(shù)據(jù)集都會將這些信息刪除。例如，密西西比人比康涅狄格州的人患糖尿病的可能性更高。但是由于這些信息可能無法獲得，我們將無法使用。

4.沒有正確的數(shù)據(jù)

就算你擁有超棒的模型，使用錯(cuò)誤數(shù)據(jù)或者有缺陷的數(shù)據(jù)也可能導(dǎo)致預(yù)測錯(cuò)誤。在監(jiān)督學(xué)習(xí)中，我們使用以前標(biāo)注過的數(shù)據(jù)，由于這種標(biāo)簽通常是人做得，可能會存在一些錯(cuò)誤。舉一個(gè)極端的例子，假設(shè)有一個(gè)具有完美準(zhǔn)確性的模型但使用了不準(zhǔn)確的數(shù)據(jù)，如MINIST數(shù)據(jù)集，圖像的人工標(biāo)記是100%準(zhǔn)確的?，F(xiàn)在，假設(shè)三分之一的數(shù)字被貼錯(cuò)了標(biāo)簽，就如古老格言所說的，如果是垃圾輸入，你將得到垃圾輸出。

5.擁有太多數(shù)據(jù)

從理論上講，你永遠(yuǎn)不需要很多的數(shù)據(jù)(只要它是正確的數(shù)據(jù))。在實(shí)踐中，即使存儲和計(jì)算成本和性能取得了巨大的進(jìn)步，我們?nèi)匀皇艿綍r(shí)間和空間的物理限制。所以數(shù)據(jù)科學(xué)家最重要的工作之一就是明智地挑選他們認(rèn)為會對實(shí)現(xiàn)精準(zhǔn)的模型預(yù)測產(chǎn)生影響的數(shù)據(jù)源。例如，預(yù)測嬰兒出生體重。與母親的年齡及住處似乎相關(guān)，但與母親的名字可能不相關(guān)。在本例中，需要人工干預(yù)來確定刪除不相關(guān)的數(shù)據(jù)。在運(yùn)行模型之前，確定哪些因素相關(guān)仍是一個(gè)潛在的陷阱，可能會破壞你的數(shù)據(jù)科學(xué)項(xiàng)目。

6.雇傭錯(cuò)誤的人

如果你有的是一個(gè)小型數(shù)據(jù)科學(xué)實(shí)踐，你可能別無選擇，只能依賴一個(gè)或幾個(gè)來執(zhí)行所有任務(wù)。但是，隨著團(tuán)隊(duì)的發(fā)展你應(yīng)該考慮為每項(xiàng)任務(wù)聘請專家。特別是對于生物技術(shù)、金融等行業(yè)擁有專業(yè)的領(lǐng)域知識是非常有價(jià)值的，甚至是至關(guān)重要的。同時(shí)，擁有一個(gè)主題專家(SME)和具有良好溝通技巧的數(shù)據(jù)科學(xué)家也很重要。隨著你團(tuán)隊(duì)的不斷發(fā)展，擁有正確的資源和人才庫是你實(shí)踐成功的最重要因素之一。

7.使用錯(cuò)誤的工具

舉個(gè)例子：你最近派遣團(tuán)隊(duì)在MySQL上進(jìn)行訓(xùn)練，他們回來后，你需要設(shè)置一個(gè)分析管道。由于他們的想法已經(jīng)被重新訓(xùn)練，于是他們建議使用他們的新工具。但是，根據(jù)管道將要處理的數(shù)據(jù)量以及你需要對結(jié)果執(zhí)行的分析量，這個(gè)選擇可能是對作業(yè)的錯(cuò)誤選擇。許多SQL產(chǎn)品對可以存儲在單個(gè)表中的數(shù)據(jù)量有嚴(yán)格的限制。在這種情況下，更好的選擇可能是使用像MongoDB這樣的NoSQL產(chǎn)品或者像AWS Redshift這樣的高度可擴(kuò)展的列式數(shù)據(jù)庫。

8.沒有合適的模型

“無免費(fèi)的午餐”(NFL)是數(shù)學(xué)中的著名定理。它指出沒有一種模型是可以解決所有問題的。例如，在營銷應(yīng)用程序中，保留客戶電子郵件和地址等屬性可能很重要。而在醫(yī)療環(huán)境中，患者的身高、體重和血型可能更為重要。這表明在某種情況下運(yùn)作良好的模型可能在另一種情況下不起作用。所以在數(shù)據(jù)科學(xué)中使用多個(gè)模型進(jìn)行迭代，以找到最合適給定情況的模型是很常見的。在監(jiān)督學(xué)習(xí)中更是如此。驗(yàn)證或交叉驗(yàn)證通常用于評估不具有復(fù)雜性的多個(gè)模型的準(zhǔn)確性，以找到最合適的模型。此外，一個(gè)有效地模型也可以通過多種算法進(jìn)行訓(xùn)練—例如，可以使用正規(guī)方程(Linear least squares)或使用梯度下降(Gradient descent)來訓(xùn)練線性回歸。

9.沒有正確的尺度

在機(jī)器學(xué)習(xí)中，根據(jù)對數(shù)據(jù)的訓(xùn)練和測試來衡量模型的性能是非常重要的。該信息將用于選擇要使用的模型、超參數(shù)和確定模型是否已準(zhǔn)備好用于生產(chǎn)使用。為了衡量模型的性能，最重要的是選擇最佳的評估標(biāo)準(zhǔn)來完成手頭的任務(wù)。

關(guān)于度量選擇的文獻(xiàn)有很多，對此不在深入探討，但在選擇指標(biāo)時(shí)要牢記以下一些參數(shù)：

機(jī)器學(xué)習(xí)問題的類型：監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。

監(jiān)督學(xué)習(xí)的類型：二元、分類或回歸。

數(shù)據(jù)集類型：如果數(shù)據(jù)集不平衡，則不同的度量標(biāo)準(zhǔn)可能更合適。