2019年十大數(shù)據(jù)與分析技術(shù)趨勢

近日，全球領(lǐng)先的信息技術(shù)研究和顧問公司Gartner指出，增強(qiáng)型分析（augmented analytics）、持續(xù)型智能（continuous intelligence）與可解釋型人工智能（explainable?AI）是數(shù)據(jù)與分析（data and analytics）技術(shù)領(lǐng)域內(nèi)的主要趨勢之一，并有可能在未來三到五年帶來重大顛覆。

Gartner研究副總裁Rita Sallam表示，數(shù)據(jù)與分析領(lǐng)導(dǎo)者必須考察這些趨勢對業(yè)務(wù)帶來的潛在影響，并相應(yīng)調(diào)整業(yè)務(wù)模式與運(yùn)營，否則將失去與他人競爭的優(yōu)勢。

她指出：“從支持內(nèi)部決策到持續(xù)型智能、信息產(chǎn)品以及任命首席數(shù)據(jù)官，數(shù)據(jù)和分析始終在不斷演化。深入了解推動這一演化的的技術(shù)趨勢并根據(jù)業(yè)務(wù)價(jià)值對其加以優(yōu)先排序，至關(guān)重要?！?/p>

Gartner副總裁兼杰出分析師Donald Feinberg認(rèn)為，數(shù)字化顛覆帶來的挑戰(zhàn)——即數(shù)據(jù)太多，同樣也創(chuàng)造了前所未有的機(jī)遇。由云驅(qū)動的海量數(shù)據(jù)將實(shí)現(xiàn)更強(qiáng)大的處理能力，意味著現(xiàn)在可以大規(guī)模訓(xùn)練與執(zhí)行算法，最終發(fā)揮出人工智能的全部潛力。

Feinberg先生表示：“數(shù)據(jù)的規(guī)模、復(fù)雜性與分散性質(zhì)，以及數(shù)字化業(yè)務(wù)所需要的行動速度與持續(xù)型智能，意味著僵化且集中的架構(gòu)與工具將會分崩離析。任何企業(yè)的長久生存都將取決于能夠響應(yīng)各種變化的以數(shù)據(jù)為中心的靈活架構(gòu)?！?/p>

Gartner建議數(shù)據(jù)及分析領(lǐng)導(dǎo)者與高級業(yè)務(wù)領(lǐng)導(dǎo)一同討論他們至關(guān)重要的業(yè)務(wù)優(yōu)先事項(xiàng)，并探索如何利用以下主要趨勢獲得競爭優(yōu)勢。

趨勢一：增強(qiáng)型分析

增強(qiáng)型分析是數(shù)據(jù)與分析市場內(nèi)的下一波顛覆性技術(shù)。它利用機(jī)器學(xué)習(xí)（ML）與人工智能改變分析內(nèi)容的開發(fā)、消費(fèi)與共享方式。

到2020年，增強(qiáng)型分析將成為分析與商業(yè)智能（analytics and BI）、數(shù)據(jù)科學(xué)與機(jī)器學(xué)習(xí)平臺（data science and ML platforms）以及嵌入式分析新增購買的主要驅(qū)動力。數(shù)據(jù)與分析領(lǐng)導(dǎo)者應(yīng)在平臺功能逐漸成熟時采用增強(qiáng)型分析。

趨勢二：增強(qiáng)型數(shù)據(jù)管理

增強(qiáng)型數(shù)據(jù)管理利用機(jī)器學(xué)習(xí)功能和人工智能引擎來生成企業(yè)信息管理類別，其中包括數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)集成以及數(shù)據(jù)庫管理系統(tǒng)（DBMS）自我配置與自我調(diào)整。它可以自動執(zhí)行許多手動任務(wù)，便于不太精通技術(shù)的用戶能夠更加自主地使用數(shù)據(jù)，同時也讓高技能的技術(shù)人員專注于價(jià)值更高的任務(wù)。

增強(qiáng)型數(shù)據(jù)管理將以往僅用于審計(jì)、沿襲及報(bào)告的元數(shù)據(jù)轉(zhuǎn)而支持動態(tài)系統(tǒng)。元數(shù)據(jù)正在從被動走向主動，并且正在成為所有人工智能/機(jī)器學(xué)習(xí)的主要驅(qū)動因素。

到2022年底，通過加入機(jī)器學(xué)習(xí)與自動化的服務(wù)級管理，數(shù)據(jù)管理手動任務(wù)將減少45%。

趨勢三：持續(xù)型智能

到2022年，超過一半的重要新業(yè)務(wù)系統(tǒng)將嵌入持續(xù)型智能，使用實(shí)時情景數(shù)據(jù)改善決策。

持續(xù)型智能是一種設(shè)計(jì)模式，其中實(shí)時分析與業(yè)務(wù)運(yùn)營相結(jié)合，處理當(dāng)前與歷史數(shù)據(jù)，以便為事件響應(yīng)行動提供建議。它能夠?qū)崿F(xiàn)自動化決策或?yàn)闆Q策提供支持。持續(xù)型智能采用多種技術(shù)，如：增強(qiáng)型分析、事件流處理、優(yōu)化、業(yè)務(wù)規(guī)則管理以及機(jī)器學(xué)習(xí)。

Sallam女生表示：“持續(xù)型智能讓數(shù)據(jù)與分析團(tuán)隊(duì)的工作發(fā)生重大變化。這既是一個巨大的挑戰(zhàn)，也是一個極大的機(jī)會，因?yàn)榉治雠c商業(yè)智能團(tuán)隊(duì)可以在2019年幫助企業(yè)做出更明智的實(shí)時決策。它可以被視作一種終極運(yùn)營型商業(yè)智能。”

趨勢四：可解釋型人工智能

人工智能模型越來越多地被用于增強(qiáng)與代替人類決策。但在某些情況下，企業(yè)必須證明這些模型是如何做出決策的。為了與用戶及權(quán)益方建立信任，此類應(yīng)用的領(lǐng)導(dǎo)者必須讓這些模型變得更易解讀與更易理解。

不幸的是，大多數(shù)這些先進(jìn)的人工智能模型都是復(fù)雜的黑盒子，無法解釋為何提出了某條具體建議或決策。而數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)平臺中的可解釋型人工智能將運(yùn)用自然語言從準(zhǔn)確性、屬性、模型統(tǒng)計(jì)及特性等方面自動生成模型提供解釋說明。

趨勢五：圖形

圖形分析（graph analytics）是一系列可用于探索企業(yè)機(jī)構(gòu)、人員與交易等相關(guān)實(shí)體間關(guān)系的分析技術(shù)。

2022年前，圖形處理和圖形數(shù)據(jù)庫管理系統(tǒng)的應(yīng)用將以每年100%的速度快速增長，以持續(xù)加速數(shù)據(jù)準(zhǔn)備，并支持更加復(fù)雜且適配的數(shù)據(jù)科學(xué)。

圖形數(shù)據(jù)存儲可以跨越數(shù)據(jù)筒倉（data silos）高效地建模，探索與查詢具有相互復(fù)雜關(guān)系的數(shù)據(jù)，但Gartner認(rèn)為，特殊的技能需求限制了該技術(shù)目前的應(yīng)用。

為了滿足對于復(fù)雜數(shù)據(jù)的綜合查詢需求，圖形分析將在未來幾年內(nèi)得到發(fā)展。利用SQL查詢完成大規(guī)模的復(fù)雜查詢并不總是切實(shí)可行，有時甚至無法完成。

趨勢六：數(shù)據(jù)結(jié)構(gòu)

數(shù)據(jù)結(jié)構(gòu)（data fabric）支持分布式數(shù)據(jù)環(huán)境內(nèi)的無摩擦數(shù)據(jù)訪問與共享。其支持單一與一致的數(shù)據(jù)管理框架，通過克服孤立存儲的獨(dú)特設(shè)計(jì)，實(shí)現(xiàn)無縫的數(shù)據(jù)訪問與處理。

到2022年，定制式數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)將主要用作靜態(tài)基礎(chǔ)架構(gòu)，促使各企業(yè)機(jī)構(gòu)為完全重新的設(shè)計(jì)投入資金，進(jìn)而實(shí)現(xiàn)更具動態(tài)的數(shù)據(jù)網(wǎng)格（data mesh）方法。

趨勢七：自然語言處理/會話式分析

到2020年，50%的分析查詢將通過搜索、自然語言處理（NLP）或語音生成，或者將自動生成。分析復(fù)雜數(shù)據(jù)組合以及讓企業(yè)機(jī)構(gòu)中的每個人都可以訪問分析的需求將推動更廣泛的采用，從而讓分析工具變得如同搜索界面或與虛擬助理進(jìn)行對話一樣簡單。

趨勢八：商業(yè)人工智能與機(jī)器學(xué)習(xí)

Gartner預(yù)測，到2022年，75%利用人工智能與機(jī)器學(xué)習(xí)技術(shù)的新終端用戶解決方案將采用商業(yè)解決方案而非開源平臺構(gòu)建。

商業(yè)廠商現(xiàn)在已經(jīng)在開源生態(tài)系統(tǒng)中創(chuàng)建了連接器，為企業(yè)提供擴(kuò)展與推廣人工智能及機(jī)器學(xué)習(xí)所需要的功能特性，例如項(xiàng)目與模型管理（project & model management）、復(fù)用（reuse）、透明度（transparency）、數(shù)據(jù)沿襲（data lineage）、平臺凝聚力（platform cohesiveness）以及開源技術(shù)所缺乏的集成。

趨勢九：區(qū)塊鏈

區(qū)塊鏈與分布式分類帳（distributed ledger）技術(shù)的核心價(jià)值主張是在非置信的參與者網(wǎng)絡(luò)中提供去中心化信任。對分析使用案例帶來的潛在結(jié)果非常大，尤其是對于利用參與者關(guān)系及交互的那些使用案例所帶來的影響。

然而，尚需幾年時間才會有四或五項(xiàng)主要區(qū)塊鏈技術(shù)占據(jù)主導(dǎo)地位。在此之前，技術(shù)終端用戶將被迫與由其主導(dǎo)客戶或網(wǎng)絡(luò)所指定的區(qū)塊鏈技術(shù)及標(biāo)準(zhǔn)相集成。這包括與您現(xiàn)有的數(shù)據(jù)及分析基礎(chǔ)架構(gòu)進(jìn)行集成。集成成本可能會超過任何潛在收益。區(qū)塊鏈?zhǔn)菙?shù)據(jù)源，而非數(shù)據(jù)庫，不會取代現(xiàn)有的數(shù)據(jù)管理技術(shù)。

趨勢十：持久內(nèi)存服務(wù)器

在采用內(nèi)存中計(jì)算（IMC）所支持的架構(gòu)方面，新型持久內(nèi)存（persistent memory）技術(shù)將有助于降低成本與復(fù)雜度。持久內(nèi)存代表著DRAM與NAND閃存之間的新內(nèi)存層，可為高性能工作負(fù)載提供經(jīng)濟(jì)高效的大容量內(nèi)存。它將有望改進(jìn)應(yīng)用性能、可用性、啟動時間、集群方法與安全實(shí)踐，同時保持成本可控；通過減少數(shù)據(jù)復(fù)制需求，還將有助于企業(yè)機(jī)構(gòu)降低其應(yīng)用與數(shù)據(jù)架構(gòu)的復(fù)雜度。

Feinberg先生表示：“數(shù)據(jù)量正在快速增多，實(shí)時將數(shù)據(jù)轉(zhuǎn)化成價(jià)值的緊迫性也在同樣快速增加。新的服務(wù)器工作負(fù)載不僅需要更快的CPU性能，而且還需要大容量內(nèi)存及更快的存儲?！?br />

?