0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師能合二為一嗎?

倩倩 ? 來源:IT168 ? 2020-07-25 10:17 ? 次閱讀

越來越多的企業(yè)關(guān)注AI,企業(yè)組織也意識到擁有相關(guān)人才和技能非常重要。特別是最近對AI、機器學(xué)習(xí)(ML)、非ML預(yù)測分析和“大數(shù)據(jù)”的應(yīng)用,使得數(shù)據(jù)科學(xué)家的需求有了顯著的增長,未來還將繼續(xù)。事實上,對數(shù)據(jù)科學(xué)家的巨大需求導(dǎo)致許多企業(yè)和組織出現(xiàn)了人才短缺,然而,80%的AI項目與數(shù)據(jù)準(zhǔn)備和數(shù)據(jù)工程有關(guān),也許企業(yè)組織應(yīng)該尋找更多的數(shù)據(jù)工程師而不是數(shù)據(jù)科學(xué)家?

許多企業(yè)、供應(yīng)商和初創(chuàng)企業(yè)常?;煜龜?shù)據(jù)科學(xué)家和數(shù)據(jù)工程師,雖然二者有相似之處,但是其工作內(nèi)容有很大不同,其中包含兩個迥異的技能,魚與熊掌不易兼得。

數(shù)據(jù)科學(xué)家vs數(shù)據(jù)工程師

在2000年代中期,數(shù)據(jù)科學(xué)家職位開始出現(xiàn),O’Reilly在文章中提到:“對數(shù)據(jù)科學(xué)家需求的增長是由大型互聯(lián)網(wǎng)公司驅(qū)動的。谷歌、Facebook、LinkedIn和亞馬遜都以創(chuàng)造性地使用數(shù)據(jù)而聞名:不僅僅是儲存數(shù)據(jù),還將其轉(zhuǎn)化為價值。毫無疑問,任何希望從數(shù)據(jù)中獲得價值的企業(yè)組織都在關(guān)注數(shù)據(jù)科學(xué)和數(shù)據(jù)科學(xué)家。

數(shù)據(jù)科學(xué)家起源于統(tǒng)計建模和數(shù)據(jù)分析的發(fā)展,具有高級數(shù)學(xué)和統(tǒng)計、高級分析以及越來越多的機器學(xué)習(xí)/人工智能的背景。毫無疑問,數(shù)據(jù)科學(xué)家的重點是數(shù)據(jù)科學(xué),也就是說,如何從海量數(shù)據(jù)中提取有用的信息,以及如何將業(yè)務(wù)和科學(xué)信息需求轉(zhuǎn)化為信息和數(shù)學(xué)語言。為了能從海量信息中獲得見解,數(shù)據(jù)科學(xué)家需要掌握統(tǒng)計學(xué)、概率、數(shù)學(xué)和算法知識。這些數(shù)據(jù)科學(xué)家通常只是為了運行程序、對數(shù)據(jù)進(jìn)行高級分析這類特定需要而學(xué)習(xí)編程,因此,數(shù)據(jù)科學(xué)家通常只寫最少最簡易的代碼,能完成數(shù)據(jù)科學(xué)任務(wù)以及提供干凈的數(shù)據(jù)進(jìn)行分析即可。數(shù)據(jù)科學(xué)家創(chuàng)建假設(shè),對數(shù)據(jù)進(jìn)行測試和分析,然后將其結(jié)果以便于查看和理解的形式呈現(xiàn)給組織中的其他人。

但是如果沒有大量的干凈數(shù)據(jù),數(shù)據(jù)科學(xué)家就無法完成自身工作。提取、清理和移動數(shù)據(jù)實際上并不是數(shù)據(jù)科學(xué)家的職責(zé),而是數(shù)據(jù)工程師的職責(zé)。數(shù)據(jù)工程師擁有編程、技術(shù)方面的專業(yè)知識,以前曾參與過數(shù)據(jù)集成、中間件、分析、業(yè)務(wù)數(shù)據(jù)門戶和ETL操作。數(shù)據(jù)工程師的重心和技能集中在大數(shù)據(jù)和分布式系統(tǒng)上,可以使用Java、Python、Scala等編程語言腳本工具,擁有技術(shù)經(jīng)驗。數(shù)據(jù)工程師面臨的挑戰(zhàn)是如何從各種各樣的系統(tǒng)中獲取結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù),解決不“干凈”的數(shù)據(jù)例如字段缺失、數(shù)據(jù)類型不匹配等與數(shù)據(jù)相關(guān)的問題。數(shù)據(jù)工程師要使用編程、集成、體系結(jié)構(gòu)和系統(tǒng)技能來清理所有數(shù)據(jù),并將其放入一種格式和系統(tǒng)中,然后數(shù)據(jù)科學(xué)家就可以使用該格式和系統(tǒng)來分析、建立數(shù)據(jù)模型并為組織提供價值。數(shù)據(jù)工程師的角色就是設(shè)計、構(gòu)建和安排數(shù)據(jù)的工程師。

數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師能合二為一嗎?

雖然數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師的角色似乎截然不同,但數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師有許多共同的特點和共技能。這些重疊的技能包括處理和操作大數(shù)據(jù)集、應(yīng)用數(shù)據(jù)的編程技能、數(shù)據(jù)分析技能以及對系統(tǒng)操作的總體熟練程度。

盡管有很多共性重疊的部分,但是數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師的工作重點仍有差異,因此不太可能兩個角色合二為一。更重要的是,在招聘數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師時,要確保問對了問題,從候選人身上找到正確的技能。

更重要的是,隨著數(shù)據(jù)科學(xué)興起的代碼學(xué)院、研討會和培訓(xùn)班引出了新問題:這些培訓(xùn)和代碼學(xué)院的重點是數(shù)據(jù)科學(xué)背后的科學(xué),還是數(shù)據(jù)工程背后的工程、編程,更糟的是,這些活動是否只是泛泛研究了一點囫圇吞棗地教學(xué)而混淆了細(xì)分的需求,比如應(yīng)該關(guān)注大數(shù)據(jù)和ML分析的哪些領(lǐng)域?

雖然看起來您可以在科學(xué)角色中做一點工程工作,或者在工程角色中做一點科學(xué)工作,但是混合角色可能會不利于企業(yè)組織在ML或數(shù)據(jù)科學(xué)的成功。那些被迫從事數(shù)據(jù)工程工作而沒有相關(guān)背景、技能或資質(zhì)的數(shù)據(jù)科學(xué)家很容易錯誤配置、誤用技術(shù),或者編寫效率低、成本高、浪費時間的程序。同樣地,要求從根本上具有工程背景的人學(xué)習(xí)復(fù)雜的數(shù)據(jù)科學(xué)數(shù)學(xué),可能會導(dǎo)致組織對其信息得出錯誤的結(jié)論,產(chǎn)生災(zāi)難性結(jié)果。專業(yè)化是很重要的,好比醫(yī)生要做檢查,抽血師負(fù)責(zé)抽血。醫(yī)生可以為你抽血,抽血師可以了解化驗結(jié)果,但你為什么要拿自己的舒適和健康去冒險呢?

數(shù)據(jù)科學(xué)家在企業(yè)組織中處于什么位置?

為了從數(shù)據(jù)中獲得價值,大多數(shù)企業(yè)組織都需要數(shù)據(jù)科學(xué)和數(shù)據(jù)工程,由于相關(guān)技能有很大差異,二者合體也不太現(xiàn)實。企業(yè)組織可能需要多個數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師,但兩者之間的比例很少是1:1。對于大多數(shù)企業(yè)組織來說,擁有更多的數(shù)據(jù)工程師比數(shù)據(jù)科學(xué)家更有意義。因為數(shù)據(jù)科學(xué)家已經(jīng)學(xué)會處理大量的干凈數(shù)據(jù),但是從許多不同系統(tǒng)獲得大量的干凈數(shù)據(jù)更難也更具挑戰(zhàn)。與抽象數(shù)據(jù)模型和對數(shù)據(jù)集運行分析相比,移動和清理數(shù)據(jù)的工作量更大。

此外,數(shù)據(jù)科學(xué)家在企業(yè)組織應(yīng)該向誰報告可能是錯的,有的數(shù)據(jù)科學(xué)家向技術(shù)團隊報告,這是沒有意義的。數(shù)據(jù)科學(xué)家通常不會詢問特定技術(shù)的實施和數(shù)據(jù)分析,其所面臨的挑戰(zhàn)特定的業(yè)務(wù)線。因此,數(shù)據(jù)科學(xué)家應(yīng)該向業(yè)務(wù)戰(zhàn)略決策相關(guān)人員報告。

有以業(yè)務(wù)為中心的工具嗎?

如果數(shù)據(jù)科學(xué)和數(shù)據(jù)工程確實是組織中獨立的角色,那么將它們所需的工具應(yīng)該是分開的。許多進(jìn)入數(shù)據(jù)科學(xué)/機器學(xué)習(xí)領(lǐng)域的供應(yīng)商正在混淆視聽,使事情變得更加混亂。他們聲稱工具是為數(shù)據(jù)科學(xué)家準(zhǔn)備的,但是其一切主要功能和特性都是為數(shù)據(jù)工程師準(zhǔn)備的,在上面點綴一些數(shù)據(jù)科學(xué)的特性是沒有意義的。對于數(shù)據(jù)科學(xué)家來說,需要一個分析的、面向數(shù)據(jù)的、以模型為中心的工具,而不是在數(shù)據(jù)清理、移動數(shù)據(jù)和將數(shù)據(jù)從私有環(huán)境遷移到云環(huán)境等方面的工具。這就像給一個駕駛教練一輛車的零件,然后說:“自己造這輛車,然后教別人如何駕駛它。”

數(shù)據(jù)科學(xué)家需要的是以數(shù)據(jù)科學(xué)為中心的工具,而不是以工程和編程為中心的工具?,F(xiàn)在,這些工具越來越多,讓數(shù)據(jù)科學(xué)家可以進(jìn)行數(shù)據(jù)挖掘或預(yù)測分析。然而,隨著數(shù)據(jù)科學(xué)家越來越深入業(yè)務(wù)領(lǐng)域,以業(yè)務(wù)為中心的工具是更合適的,例如,幾十年前,如果您希望以類似電子表格的格式操作大量數(shù)據(jù),這就涉及到編程,但是像Excel這樣的工具引入了數(shù)據(jù)透視表這樣的東西,現(xiàn)在業(yè)務(wù)經(jīng)理能夠執(zhí)行各種分析。Excel等工具將數(shù)據(jù)科學(xué)功能或以業(yè)務(wù)為中心的數(shù)據(jù)挖掘和分析工具嵌入到產(chǎn)品中只是時間問題。

隨著數(shù)據(jù)科學(xué)家的人才缺口繼續(xù)擴大,新的工具將會出現(xiàn),這些工具是為了允許非技術(shù)人員(即業(yè)務(wù)人員)運行、測試和分析數(shù)據(jù)而創(chuàng)建的,戰(zhàn)略業(yè)務(wù)經(jīng)理將開始學(xué)習(xí)數(shù)據(jù)科學(xué),數(shù)據(jù)科學(xué)家仍然需要運行非常復(fù)雜的數(shù)據(jù)分析工具。然而,隨著越來越多易用工具的出現(xiàn),大多數(shù)情況下基本分析將更多地轉(zhuǎn)移到業(yè)務(wù)方。企業(yè)中ML和數(shù)據(jù)科學(xué)相關(guān)工具和技術(shù)也越來越大有可為。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 工程師
    +關(guān)注

    關(guān)注

    59

    文章

    1563

    瀏覽量

    68375
  • 數(shù)據(jù)科學(xué)

    關(guān)注

    0

    文章

    164

    瀏覽量

    10033
收藏 人收藏

    評論

    相關(guān)推薦

    AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第4章-AI與生命科學(xué)讀后感

    了傳統(tǒng)學(xué)科界限,使得科學(xué)家們能夠從更加全面和深入的角度理解生命的奧秘。同時,AI技術(shù)的引入也催生了種全新的科學(xué)研究范式,即數(shù)據(jù)驅(qū)動的研究范式,這種范式強調(diào)從大量
    發(fā)表于 10-14 09:21

    《AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第章AI for Science的技術(shù)支撐學(xué)習(xí)心得

    和數(shù)量直接影響到模型的準(zhǔn)確性和可靠性。因此,數(shù)據(jù)獲取、處理、分析和質(zhì)量控制在AI for Science中至關(guān)重要。此外,數(shù)據(jù)驅(qū)動的研究范式也促使科學(xué)家從傳統(tǒng)的假設(shè)驅(qū)動轉(zhuǎn)向更加靈活和開
    發(fā)表于 10-14 09:16

    《AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第章人工智能驅(qū)動的科學(xué)創(chuàng)新學(xué)習(xí)心得

    如何激發(fā)科學(xué)家的創(chuàng)新思維。AI不僅僅是工具,更是種思維方式,它鼓勵我們跳出傳統(tǒng)框架,以數(shù)據(jù)驅(qū)動,探索未知。這種思維方式的轉(zhuǎn)變,不僅促進(jìn)了科學(xué)
    發(fā)表于 10-14 09:12

    小米手機部工程師榮獲國家技術(shù)發(fā)明獎等獎

    日前,全國科技大會、國家科學(xué)技術(shù)獎勵大會、兩院院士大會在北京召開。大批貢獻(xiàn)卓越的科學(xué)家和標(biāo)志性成果獲得了國家科技獎勵。其中,我們也有位小米人帶著作品參與到了其中,并獲得了國家級獎項
    的頭像 發(fā)表于 08-16 10:39 ?491次閱讀

    創(chuàng),1:1復(fù)刻工程師的職場現(xiàn)狀

    工程師
    揚興科技
    發(fā)布于 :2024年07月19日 18:30:07

    新華社:突破性成果!祝賀我國科學(xué)家成功研發(fā)這傳感器!

    6月25日,新華社以《突破性成果!祝賀我國科學(xué)家標(biāo)題,報道了由我國科學(xué)家研發(fā)的傳感器成果。 我國科學(xué)家研發(fā)高通道神經(jīng)探針實現(xiàn)獼猴全腦尺度神經(jīng)活動監(jiān)測 神經(jīng)探針是
    的頭像 發(fā)表于 06-27 18:03 ?339次閱讀
    新華社:突破性成果!祝賀我國<b class='flag-5'>科學(xué)家</b>成功研發(fā)這<b class='flag-5'>一</b>傳感器!

    前OpenAI首席科學(xué)家創(chuàng)辦新的AI公司

    消息在業(yè)界引起了廣泛關(guān)注,因為蘇茨克維曾是OpenAI的聯(lián)合創(chuàng)始人及首席科學(xué)家,并在去年在OpenAI董事會上扮演了重要角色。
    的頭像 發(fā)表于 06-21 10:42 ?461次閱讀

    嵌入式軟件工程師和硬件工程師的區(qū)別?

    嵌入式軟件工程師和硬件工程師的區(qū)別? 嵌入式軟件工程師 嵌入式軟件工程師是軟件開發(fā)領(lǐng)域中的種專業(yè)工程師
    發(fā)表于 05-16 11:00

    谷歌DeepMind科學(xué)家欲建AI初創(chuàng)公司

    據(jù)知情人士透露,谷歌人工智能部門DeepMind的兩名杰出科學(xué)家Laurent Sifre和Karl Tuyls正在與投資者商討在巴黎成立家新的人工智能初創(chuàng)公司的事宜。
    的頭像 發(fā)表于 01-22 14:41 ?418次閱讀

    飛騰首席科學(xué)家竇強榮獲 “國家卓越工程師” 稱號

    ? ? ?飛騰首席科學(xué)家竇強榮獲 “國家卓越工程師” 稱號 1月19日上午,首屆 “國家工程師獎” 表彰大會在北京人民大會堂隆重舉行。81 名個人被授予 “國家卓越工程師” 稱號,50
    的頭像 發(fā)表于 01-19 19:22 ?1525次閱讀
    飛騰首席<b class='flag-5'>科學(xué)家</b>竇強榮獲 “國家卓越<b class='flag-5'>工程師</b>” 稱號

    釋放積極信號!“國家工程師獎”首次開評

    近期,國家卓越工程師及卓越工程師團隊擬定表彰名單頒布,共包含83位獲選為國家卓越工程師、50家團隊榮獲國家卓越工程師團隊稱號。從本年度起,首次設(shè)立“國家
    的頭像 發(fā)表于 12-11 11:02 ?607次閱讀

    FPGA工程師需要具備哪些技能?

    ,需要具備系列的技能,才能勝任日益復(fù)雜的設(shè)計工作。因此,本文將從設(shè)計思路、硬件語言、EDA工具、數(shù)字信號處理、通信協(xié)議、測試驗證等多個方面,探討FPGA工程師需要具備哪些技能。
    發(fā)表于 11-09 11:03

    很好的書籍,學(xué)以致用

    BlueField系列DPU和NVIDIA DOCA的實用指南,使開發(fā)人員和數(shù)據(jù)科學(xué)家走近DPU的應(yīng)用和編程,是本非常好的DPU入門書籍。
    發(fā)表于 10-31 08:45