大數(shù)據(jù)工程師需要具備哪些能力

大數(shù)據(jù)是眼下非常時(shí)髦的技術(shù)名詞，與此同時(shí)自然也催生出了一些與大數(shù)據(jù)處理相關(guān)的職業(yè)，通過(guò)對(duì)數(shù)據(jù)的挖掘分析來(lái)影響企業(yè)的商業(yè)決策。

數(shù)據(jù)可視化

這群人在國(guó)外被叫做數(shù)據(jù)科學(xué)家（Data Scientist），這個(gè)頭銜最早由D.J.Pati和Jeff Hammerbacher于2008年提出，他們后來(lái)分別成為了領(lǐng)英（LinkedIn）和Facebook數(shù)據(jù)科學(xué)團(tuán)隊(duì)的負(fù)責(zé)人。而數(shù)據(jù)科學(xué)家這個(gè)職位目前也已經(jīng)在美國(guó)傳統(tǒng)的電信、零售、金融、制造、物流、醫(yī)療、教育等行業(yè)里開(kāi)始創(chuàng)造價(jià)值。

雖然對(duì)于一些大公司來(lái)說(shuō)，擁有碩博學(xué)歷的公司人是比較好的選擇，不過(guò)阿里巴巴集團(tuán)研究員薛貴榮強(qiáng)調(diào)，學(xué)歷并不是最主要的因素，能有大規(guī)模處理數(shù)據(jù)的經(jīng)驗(yàn)并且有喜歡在數(shù)據(jù)海洋中尋寶的好奇心會(huì)更適合這個(gè)工作。除此之外，一個(gè)優(yōu)秀的大數(shù)據(jù)工程師要具備一定的邏輯分析能力，并能迅速定位某個(gè)商業(yè)問(wèn)題的關(guān)鍵屬性和決定因素?！八弥朗裁词窍嚓P(guān)的，哪個(gè)是重要的，使用什么樣的數(shù)據(jù)是最有價(jià)值的，如何快速找到每個(gè)業(yè)務(wù)最核心的需求?！甭?lián)合國(guó)百度大數(shù)據(jù)聯(lián)合實(shí)驗(yàn)室數(shù)據(jù)科學(xué)家沈志勇說(shuō)。學(xué)習(xí)能力能幫助大數(shù)據(jù)工程師快速適應(yīng)不同的項(xiàng)目，并在短時(shí)間內(nèi)成為這個(gè)領(lǐng)域的數(shù)據(jù)專(zhuān)家;溝通能力則能讓他們的工作開(kāi)展地更順利，我是一名大數(shù)據(jù)程序員，建了一個(gè)大數(shù)據(jù)資源共享群593188212 每天分享大數(shù)據(jù)學(xué)習(xí)資料和學(xué)習(xí)路線(xiàn)，給大家學(xué)習(xí)，交流。因?yàn)榇髷?shù)據(jù)工程師的工作主要分為兩種方式：由市場(chǎng)部驅(qū)動(dòng)和由數(shù)據(jù)分析部門(mén)驅(qū)動(dòng)，前者需要常常向產(chǎn)品經(jīng)理了解開(kāi)發(fā)需求，后者則需要找運(yùn)營(yíng)部了解數(shù)據(jù)模型實(shí)際轉(zhuǎn)化的情況。

數(shù)據(jù)迷茫期

需要具備的能力

1.數(shù)學(xué)及統(tǒng)計(jì)學(xué)相關(guān)的背景

就我們采訪(fǎng)過(guò)的BAT三家互聯(lián)網(wǎng)大公司來(lái)說(shuō)，對(duì)于大數(shù)據(jù)工程師的要求都是希望是統(tǒng)計(jì)學(xué)和數(shù)學(xué)背景的碩士或博士學(xué)歷。缺乏理論背景的數(shù)據(jù)工作者，更容易進(jìn)入一個(gè)技能上的危險(xiǎn)區(qū)域（Danger Zone）—一堆數(shù)字，按照不同的數(shù)據(jù)模型和算法總能捯飭出一些結(jié)果來(lái)，但如果你不知道那代表什么，就并不是真正有意義的結(jié)果，并且那樣的結(jié)果還容易誤導(dǎo)你?！爸挥芯邆湟欢ǖ睦碚撝R(shí)，才能理解模型、復(fù)用模型甚至創(chuàng)新模型，來(lái)解決實(shí)際問(wèn)題。”沈志勇說(shuō)。

2.計(jì)算機(jī)編碼能力

實(shí)際開(kāi)發(fā)能力和大規(guī)模的數(shù)據(jù)處理能力是作為大數(shù)據(jù)工程師的一些必備要素。

舉例來(lái)說(shuō)，現(xiàn)在人們?cè)谏缃?a target="_blank">網(wǎng)絡(luò)上所產(chǎn)生的許多記錄都是非結(jié)構(gòu)化的數(shù)據(jù)，如何從這些毫無(wú)頭緒的文字、語(yǔ)音、圖像甚至視頻中攫取有意義的信息就需要大數(shù)據(jù)工程師親自挖掘。即使在某些團(tuán)隊(duì)中，大數(shù)據(jù)工程師的職責(zé)以商業(yè)分析為主，但也要熟悉計(jì)算機(jī)處理大數(shù)據(jù)的方式。

3.對(duì)特定應(yīng)用領(lǐng)域或行業(yè)的知識(shí)

大數(shù)據(jù)工程師這個(gè)角色很重要的一點(diǎn)是，不能脫離市場(chǎng)，因?yàn)榇髷?shù)據(jù)只有和特定領(lǐng)域的應(yīng)用結(jié)合起來(lái)才能產(chǎn)生價(jià)值。所以，在某個(gè)或多個(gè)垂直行業(yè)的經(jīng)歷能為應(yīng)聘者積累對(duì)行業(yè)的認(rèn)知，對(duì)于之后成為大數(shù)據(jù)工程師有很大幫助，因此這也是應(yīng)聘這個(gè)崗位時(shí)較有說(shuō)服力的加分項(xiàng)。