算法工程師的現(xiàn)狀分析：數(shù)據(jù)質(zhì)量差，著急死

編輯導(dǎo)語(yǔ)：算法工程師就是利用算法處理事物的人，輸入相應(yīng)的指令將會(huì)得到相應(yīng)的輸出；但是算法工程師的要求也非常高，在實(shí)體行業(yè)，他們還要會(huì)數(shù)據(jù)分析，才能在實(shí)體行業(yè)中計(jì)算出精準(zhǔn)需求；本文作者分析了算法工程師的現(xiàn)狀，我們一起來(lái)看一下。

“我們的算法工程師水平太差了，完全解決不了問(wèn)題！”作為一個(gè)經(jīng)常和傳統(tǒng)企業(yè)打交道的乙方，這種抱怨我聽得太多了，類似慘痛畫面也見得太多了。今天我們系統(tǒng)說(shuō)說(shuō)。

模型厲害不厲害，厲害！你看阿爾法大狗子都把天才少年柯潔咬哭了，能不厲害嗎。

于是，很多企業(yè)咬牙跺腳，出高薪，聘請(qǐng)來(lái)自互聯(lián)網(wǎng)大廠的算法工程師、數(shù)據(jù)挖掘工程師、數(shù)據(jù)建模師，期望他能做出超厲害模型；“只要你能預(yù)測(cè)精準(zhǔn)了，那我肯定能如魚得水”是他們的口頭禪。

又剛好，一批2017年左右混入所謂互聯(lián)網(wǎng)大廠的算法工程師們，被裁員了，以為自己可以打著“前頭騰阿高級(jí)算法工程師”旗號(hào)收割一波傳統(tǒng)企業(yè)，從此烏雞變鳳凰，走上人生巔峰。

兩者一拍即合。悲劇就從這里開始……

一、不考慮業(yè)務(wù)，背鍋死

陣亡案例1：某傳統(tǒng)企業(yè)，想建立產(chǎn)品推薦模型，精準(zhǔn)匹配用戶需求；結(jié)果才半年，招來(lái)的算法就被炒了——炒人理由：推薦不精準(zhǔn)，反而干擾了正常銷售。

甲方市場(chǎng)部的頭頭還不屑的說(shuō)：阿里的推薦算法也不咋樣啊。

仔細(xì)研究業(yè)務(wù)場(chǎng)景就發(fā)現(xiàn)：親，不是阿里有問(wèn)題，是你這公司不是阿里呀！阿里是平臺(tái)方，在平臺(tái)上有無(wú)數(shù)商品等著推。

但具體到你這個(gè)企業(yè)，就會(huì)發(fā)現(xiàn)：

有的產(chǎn)品是安身立命的爆款，不推也好賣。

有的產(chǎn)品是業(yè)務(wù)的心頭肉，只要出一點(diǎn)問(wèn)題，那就是千刀萬(wàn)剮。

有的產(chǎn)品先天短腿，功能不行、定價(jià)不合理，根本干不過(guò)競(jìng)品，推薦算法有毛用。

有些產(chǎn)品品質(zhì)還行，只是在內(nèi)部政治地位不高，拿不到資源，或者定價(jià)不合理，導(dǎo)致后天短腿。

上一任算法小哥哥，不考慮這些業(yè)務(wù)上明爭(zhēng)暗斗，就直接上模型了；所有產(chǎn)品一鍋燉了做推薦（還是用協(xié)同過(guò)濾，完全沒考慮企業(yè)的用戶粘性，用戶行為數(shù)據(jù)量問(wèn)題）；結(jié)果，主打產(chǎn)品出現(xiàn)下滑情況，銷售部、市場(chǎng)部聯(lián)手，一起把鍋往他身上甩。

結(jié)局，不但被趕滾蛋，而且搞得聲名狼藉。

認(rèn)真分析了這些背景以后，一個(gè)優(yōu)化方案出爐（如下圖）：

先做好產(chǎn)品分析，選好后天短腿的小品類，找到背書的部門，這時(shí)候可以開干了；果然，第一波推廣馬上見效；于是甲方開開心心接手，自己回去優(yōu)化迭代去了。

二、不細(xì)化場(chǎng)景，麻煩死

陣亡案例2：某連鎖店，希望能建立模型，精準(zhǔn)預(yù)測(cè)每個(gè)店鋪的魚蛋、腸粉、飯團(tuán)、面包……具體到每一個(gè)SKU的銷量，這樣門店既不會(huì)因?yàn)榉e壓浪費(fèi)食材，又不會(huì)因?yàn)槿必涘e(cuò)過(guò)銷售；結(jié)果七個(gè)建模的小哥折騰了半年也不夠精準(zhǔn)，離職了4個(gè)，剩下仨垂頭喪氣。

到底如何100%精準(zhǔn)呢！

認(rèn)真思考這個(gè)問(wèn)題場(chǎng)景，就會(huì)覺得很搞笑：真有100%精準(zhǔn)預(yù)測(cè)魚蛋香腸的本事，這七個(gè)小哥還打個(gè)屁工啊，直接去炒期貨呀。

仔細(xì)研究以后發(fā)現(xiàn)：所謂的“缺貨錯(cuò)過(guò)銷售”，根本就是一句話空話；因?yàn)闆]有一個(gè)正式的缺貨登記系統(tǒng)（很多企業(yè)有，但這家沒有）；但是積壓導(dǎo)致的損耗率，卻是結(jié)結(jié)實(shí)實(shí)的高。

于是，一個(gè)優(yōu)化方案出爐（如下圖）：

這樣運(yùn)行了倆月，損耗率明顯下降，實(shí)實(shí)在在地看到了成本的減少；同時(shí)，雖然也有人抱怨：“誒呀，有些店缺貨了呀”。

可證據(jù)呢？證據(jù)呢？證據(jù)呢！沒有數(shù)據(jù)，空口白話，說(shuō)了鬼信！于是順利扭轉(zhuǎn)局面；也不出意外地，甲方自己接手繼續(xù)優(yōu)化了（是滴，甲方就是不喜歡簽二期、三期，都以為自己能搞掂后邊的，當(dāng)然這是后話了，哈哈）。

三、不應(yīng)對(duì)變化，含冤死

陣亡案例3：某大型渠道商，希望能建立模型，精準(zhǔn)預(yù)測(cè)手機(jī)、平板銷量，避免積壓；先后換個(gè)5個(gè)做模型的，都不滿意！業(yè)務(wù)給的反饋是：預(yù)測(cè)不夠精準(zhǔn)，導(dǎo)致決策失誤。

仔細(xì)研究以后發(fā)現(xiàn)，問(wèn)題根本不在預(yù)測(cè)上，而是業(yè)務(wù)方的反復(fù)橫跳。

考核模型效果，看的是總銷量，但總銷量分配給每個(gè)渠道負(fù)責(zé)人后，總有人跳出來(lái)要求加量、減量；而且常常看頭2周買的好，就拼命加，結(jié)果導(dǎo)致積壓；看頭2周差就都不想做，能甩就甩；最后整體數(shù)據(jù)偏差大，反而回頭怪算法預(yù)測(cè)的不準(zhǔn)。

知道這幫孫子的搞法，于是，一個(gè)優(yōu)化方案出爐。

優(yōu)化以后，效果立現(xiàn)：所謂的預(yù)測(cè)不準(zhǔn)，90%是因?yàn)闃I(yè)務(wù)方自己不靠譜的談判、預(yù)判、騷操作搞出來(lái)的；不但順利脫身，而且也幫前邊五個(gè)冤死鬼洗刷冤屈（如下圖）。

四、數(shù)據(jù)質(zhì)量差，著急死

陣亡案例4：某大型企業(yè)，想建立智能客服，高薪挖來(lái)一個(gè)小哥；結(jié)果來(lái)了才發(fā)現(xiàn)，不但原始數(shù)據(jù)混亂，因?yàn)榭头嘤?xùn)做的太差，連最基礎(chǔ)的分類標(biāo)簽：咨詢、投訴、建議都是錯(cuò)亂一堆；結(jié)果嘛，自然是干了半年沒成績(jī)，黯然滾蛋。

陣亡案例5：某大型企業(yè)，想建立“和抖音一樣的內(nèi)容推薦算法”，高薪挖來(lái)一小哥；結(jié)果來(lái)了才發(fā)現(xiàn)，內(nèi)部根本沒有內(nèi)容分類標(biāo)簽，用戶打的標(biāo)簽全是垃圾，90%都是空的……領(lǐng)導(dǎo)還說(shuō)：“我都給了你那么多錢了，你咋不能干，為啥還要小妹來(lái)幫忙，你看人家抖音不都是算法工程師做的？？”

是滴，越是迷信算法模型的，反而越不重視數(shù)據(jù)建設(shè)，都是一臉：“你都有算法了，你還要數(shù)據(jù)干啥，數(shù)據(jù)不是初等低級(jí)的嗎？？？”

對(duì)了，應(yīng)該有同學(xué)注意到，這些完蛋的周期都是半年，為啥？是因?yàn)楹芏嗨惴◢徫?，在互?lián)網(wǎng)公司就是吉祥物，為了能證明公司走在“人工智能大路上”，維持股價(jià)；所以在互聯(lián)網(wǎng)公司的考核是遠(yuǎn)沒有實(shí)體企業(yè)嚴(yán)格的；在實(shí)體企業(yè)半年不出業(yè)績(jī)，不滾蛋還怎樣。

五、問(wèn)題的表面原因

以上場(chǎng)景，如果換一個(gè)2010年左右入行的數(shù)據(jù)挖掘工程師，完全不會(huì)存在。

因?yàn)槟莻€(gè)年代的數(shù)據(jù)挖掘工程師大部分做的是電信、銀行的項(xiàng)目，對(duì)于數(shù)據(jù)分析方法掌握非常扎實(shí)，對(duì)于數(shù)據(jù)模型的生效場(chǎng)景非常謹(jǐn)慎；然而，一來(lái)，這些人不是輕易請(qǐng)的動(dòng)的，二來(lái)，人家懂行。

1. 一看你這企業(yè)：
2. 領(lǐng)導(dǎo)期望過(guò)高；
3. 業(yè)務(wù)相互甩鍋；
4. 不懂基本原理；
5. 數(shù)據(jù)基礎(chǔ)太差；
6. 急于產(chǎn)出業(yè)績(jī)；
7. 缺少清晰目標(biāo)；
8. 人家根本就不會(huì)來(lái)！
9. 于是就有了開頭的畫面。

2017年開始的一波人工智能熱潮，吸引了大量新人涌入數(shù)據(jù)挖掘、算法領(lǐng)域；有相當(dāng)多的人根本沒有數(shù)據(jù)分析基礎(chǔ)，讀的是《西瓜書》+《統(tǒng)計(jì)學(xué)習(xí)方法》，做的是《泰坦尼克》《鳶尾花》《波士頓房?jī)r(jià)》，遇到問(wèn)題就上模型，干就完了奧力給！

這種情況，自然是盲人騎瞎馬，夜半臨深池了。

六、問(wèn)題的本質(zhì)原因

問(wèn)題的本質(zhì)在于：數(shù)據(jù)建模，本質(zhì)上對(duì)抗的是低效率；是幫助人們解決運(yùn)算變量多過(guò)時(shí)，手工計(jì)算復(fù)雜，難以處理的問(wèn)題。

這是一種計(jì)算方法，不是智慧高于常人的神秘力量，不是仙風(fēng)鶴骨的世外高人；數(shù)據(jù)建模應(yīng)用最好的領(lǐng)域，也不是診斷經(jīng)營(yíng)問(wèn)題，而是圖像識(shí)別、語(yǔ)音轉(zhuǎn)化這些相對(duì)客觀的領(lǐng)域。

而傳統(tǒng)企業(yè)面臨的問(wèn)題，比如：

突發(fā)情況多：天氣預(yù)報(bào)有雨，于是備貨少了，結(jié)果突然沒下，貨不夠賣；

目標(biāo)不清晰：因?yàn)槔习鍌€(gè)人喜歡，所以上了某款商品，結(jié)果老板看走了眼；

業(yè)務(wù)能力差：預(yù)判不準(zhǔn)，情緒化，收了客戶、供應(yīng)商回扣，應(yīng)和老板態(tài)度想邀功。

這些亂七八糟的情況，更適合用數(shù)據(jù)分析方法來(lái)解決。

數(shù)據(jù)分析，本質(zhì)上對(duì)抗的是不確定性；是通過(guò)認(rèn)真的采集數(shù)據(jù)、梳理業(yè)務(wù)流程、診斷業(yè)務(wù)問(wèn)題、進(jìn)行數(shù)據(jù)測(cè)試；把主觀臆斷關(guān)進(jìn)籠子里。把“我以為”換成“我確信”。

所以遭遇復(fù)雜的企業(yè)經(jīng)營(yíng)問(wèn)題，最好的做法是認(rèn)真做好數(shù)據(jù)采集、認(rèn)真建立分析模型、一點(diǎn)點(diǎn)積累分析經(jīng)驗(yàn)；而不是指望一只阿爾法大狗子汪汪一叫就撥云見日迎春歸。

所以我們看到，只要把復(fù)雜場(chǎng)景梳理清楚，撇除亂七八糟的因素，模型是可以在一定程度上解決經(jīng)營(yíng)問(wèn)題的。

然而遺憾的是，從朋友圈文章，到管理層的內(nèi)心，到正在調(diào)參的小哥的鍵盤，所有聲音都是：

算法又打敗人類了！

算法比你自己更懂你自己！

算法實(shí)現(xiàn)了99%的超精準(zhǔn)預(yù)測(cè)！

所以這種悲劇還會(huì)繼續(xù)上演，而且隨著2020年大量企業(yè)加速數(shù)字化，會(huì)上演更多，更慘烈；我們拭目以待哦。

最后，有同學(xué)說(shuō)：陳老師你舉的都是實(shí)體企業(yè)的例子，那互聯(lián)網(wǎng)企業(yè)就是一片凈土呀。

呵呵！別的不說(shuō)，單說(shuō)生鮮電商，疫情影響，大家都覺得生鮮電商有前途，于是一幫連飯都沒有煮過(guò)、娃都沒有生過(guò)的算法工程師們，正在努力研究“蔬菜精準(zhǔn)推薦”“買菜智能預(yù)測(cè)”算法呢。

是滴！還是用熟悉的協(xié)同過(guò)濾，還是用熟悉的關(guān)聯(lián)規(guī)則哦。