聯(lián)發(fā)科：正式介紹了AI策略，詳細(xì)解析了NeuroPilot 平臺(tái)

去年華為率先推出了全球首款人工智能（AI）移動(dòng)處理器麒麟970之后，蘋(píng)果也發(fā)布了集成了AI內(nèi)核的A11處理器。上個(gè)月高通也發(fā)布了號(hào)稱(chēng)是其第三代人工智能平臺(tái)的驍龍845。顯然，支持人工智能已經(jīng)成為了智能手機(jī)芯片的一大趨勢(shì)。今年CES期間，聯(lián)發(fā)科也正式宣布推出NeuroPilot 人工智能平臺(tái)。1月31日下午，聯(lián)發(fā)科技在北京召開(kāi)了媒體溝通會(huì)，正式介紹了聯(lián)發(fā)科的AI策略，詳細(xì)解析了NeuroPilot 平臺(tái)。

人工智能技術(shù)走向成熟，邊緣計(jì)算成大勢(shì)所趨

“AI視覺(jué)和AI語(yǔ)音是人工智能的兩大重要應(yīng)用方向。雖然AI技術(shù)幾十年前就已經(jīng)存在，但是由于其錯(cuò)誤率較高，所以難以走向?qū)嶋H應(yīng)用。比如在AI視覺(jué)方面，以前錯(cuò)誤率在30%左右，而到了2012年時(shí)候深度學(xué)習(xí)加入之后便有很大突破，目前AI視覺(jué)的錯(cuò)誤率已經(jīng)降低到了2.25%，這已經(jīng)超過(guò)了人的肉眼識(shí)別能力（錯(cuò)誤率5.1%左右）。

同樣，在AI語(yǔ)音方面，2017年谷歌已經(jīng)將錯(cuò)誤率降低到了4.19%。而在嘈雜情況下，人的辨識(shí)錯(cuò)誤率為5%左右。

以上的這些數(shù)據(jù)都反應(yīng)了，AI在視覺(jué)和語(yǔ)音識(shí)別方面的準(zhǔn)確率已經(jīng)接近甚至超過(guò)了人，正因?yàn)槿绱?，AI的應(yīng)用才能夠開(kāi)始走向爆發(fā)。

目前的人工智能應(yīng)用更多的還是依賴于云端，而隨著技術(shù)的發(fā)展，在終端側(cè)部署人工智能已經(jīng)是大勢(shì)所趨。

相對(duì)于云端人工智能來(lái)說(shuō)，在終端側(cè)部署人工智能有四大優(yōu)勢(shì)：

1、可以降低延時(shí)，提升反饋的速度。如果人工智能計(jì)算完全放到云端的話，就需要設(shè)備把數(shù)據(jù)全部傳輸?shù)皆贫耍缓蟮却贫诉M(jìn)行處理之后，再將信息傳輸回來(lái)，才能做出反饋。顯然，這樣可能會(huì)出現(xiàn)延時(shí)性。所以，人工智能的操作和運(yùn)算最好是發(fā)生在離它最近的地方，這樣可以實(shí)時(shí)的對(duì)數(shù)據(jù)進(jìn)行處理，并做出反饋。這對(duì)于自動(dòng)駕駛等對(duì)于延時(shí)要求較高的應(yīng)用來(lái)說(shuō)尤為重要。

2、有利于用戶隱私的保護(hù)。很多用戶不喜歡將數(shù)據(jù)傳輸?shù)皆贫耍驗(yàn)檫@可能會(huì)有隱私泄露的風(fēng)險(xiǎn)，而且再數(shù)據(jù)傳輸?shù)倪^(guò)程當(dāng)中也有可能會(huì)出現(xiàn)泄露的風(fēng)險(xiǎn)。

3、可以降低對(duì)于網(wǎng)絡(luò)連接的依賴。如果人工智能完全依賴于云端，那么在沒(méi)有網(wǎng)絡(luò)的情況下就無(wú)法使用，顯然這將極大的影響用戶體驗(yàn)。而在終端側(cè)部署人工智能則能夠在一定程度上擺脫網(wǎng)絡(luò)的限制。另外，隨著接入網(wǎng)絡(luò)的智能終端數(shù)量越來(lái)越多，隨時(shí)隨刻都會(huì)產(chǎn)生大量數(shù)據(jù)，如果所有的數(shù)據(jù)都依賴在云端處理，這將會(huì)對(duì)于網(wǎng)絡(luò)帶寬提出非常高的要求。不但會(huì)增加用戶對(duì)于網(wǎng)絡(luò)帶寬成本的支出，也會(huì)增加云端服務(wù)提供商對(duì)于網(wǎng)絡(luò)帶寬成本的支出。

4、有利于功耗的降低。首先，如果所有的數(shù)據(jù)都傳輸給云端來(lái)處理，無(wú)疑將極大增加云端計(jì)算的功耗。據(jù)聯(lián)發(fā)科介紹，現(xiàn)在我們整個(gè)云端的功耗已經(jīng)占整個(gè)地球的大概5%左右的電力。而且大量的數(shù)據(jù)從終端通過(guò)無(wú)線網(wǎng)絡(luò)進(jìn)行發(fā)送和傳輸也會(huì)提升終端的功耗。所以終端能夠進(jìn)行AI處理的話，將會(huì)把整個(gè)系統(tǒng)的功耗降下來(lái)。

正因?yàn)槿绱?，此前?lián)發(fā)科總經(jīng)理陳冠州就曾表示，“現(xiàn)階段（聯(lián)發(fā)科）的AI的策略是瞄準(zhǔn)邊緣端”。聯(lián)發(fā)科認(rèn)為，鑒于數(shù)據(jù)，AI的技術(shù)需要經(jīng)歷學(xué)習(xí)和應(yīng)用兩個(gè)階段。AI的學(xué)習(xí)體現(xiàn)在云端，應(yīng)用是在邊緣端；成熟AI的學(xué)習(xí)能夠移植到邊緣端，用戶的體驗(yàn)才是最好的。

NeuroPilot人工智能平臺(tái)詳解

為了推動(dòng)人工智能在邊緣的部署，在今年的CES展會(huì)期間，聯(lián)發(fā)科正式推出了NeuroPilot 人工智能平臺(tái)。這個(gè)平臺(tái)通過(guò)整合聯(lián)發(fā)科的SoC當(dāng)中的CPU、GPU、APU（AI處理器：Artificial intelligence Processing Unit）及軟件（如NeuroPilot SDK），來(lái)形成一個(gè)完整的人工智能解決方案。也就是說(shuō)，CPU、GPU、APU都會(huì)參與到人工智能運(yùn)算當(dāng)中。

聯(lián)發(fā)科技CTO辦公室協(xié)理林宗瑤表示：“通常來(lái)說(shuō)，CPU主要是負(fù)責(zé)控制的功能，GPU負(fù)責(zé)運(yùn)算功能，APU則是對(duì)整個(gè)AI運(yùn)算做特殊的加速。事實(shí)上，CPU、GPU也能夠做AI運(yùn)算，只不過(guò)效率會(huì)比APU差，但是比APU更具彈性，APU沒(méi)法做其他無(wú)關(guān)應(yīng)用。而現(xiàn)在AI功能并不是所有都需要APU來(lái)加速計(jì)算，有些會(huì)放在CPU、GPU上來(lái)做（比如英特爾會(huì)在CPU當(dāng)中加一些AI功能，Nvidia則是在GPU里加一些AI的功能 ），所以我們才做異構(gòu)運(yùn)算，不同的工作我們會(huì)根據(jù)它的特質(zhì)，把它放到APU/CPU/GPU上面。比如，如果它是一個(gè)平行運(yùn)算量很高的應(yīng)用，而且它需要的是浮點(diǎn)性運(yùn)算的話，我們就把它放 GPU 到上面來(lái)。如果它需要定點(diǎn)性運(yùn)算，而且需要長(zhǎng)時(shí)間運(yùn)算，功耗比較低，所以需要有效率的運(yùn)算的話，我們放到APU。如果它是一個(gè)很多控制的運(yùn)算，我們就把它放到CPU上。我們會(huì)根據(jù)它下一個(gè)指令與下下一個(gè)工作的分布，去看這個(gè)工作需要放到CPU、GPU還是APU，這個(gè)其實(shí)跟早期的我們CorePilot 有點(diǎn)類(lèi)似。CorePilot做的是大小核，哪些工作放大核，哪些工作放小核，這些是透過(guò)類(lèi)似像scheduler（調(diào)度程序）的概念。我們現(xiàn)在把CorePilot的功能從大小核演變到它可以去和CPU、GPU、APU做異構(gòu)運(yùn)算。 聯(lián)發(fā)科過(guò)去在大小核這邊是領(lǐng)先的，所以我們會(huì)延續(xù)下去?！?/p>

可以說(shuō)，聯(lián)發(fā)科的這個(gè)NeuroPilot 人工智能平臺(tái)的異構(gòu)計(jì)算與高通通過(guò)驍龍神經(jīng)處理引擎軟件框架來(lái)調(diào)用驍龍SoC當(dāng)中的CPU、GPU、DSP來(lái)實(shí)現(xiàn)異構(gòu)的人工智能計(jì)算的形式有些類(lèi)似。主要都是通過(guò)軟件根據(jù)需要來(lái)合理分配SoC當(dāng)中的資源來(lái)做人工智能計(jì)算，這樣更加的靈活，更加的高效，并且對(duì)于各類(lèi)APP應(yīng)用也有很好的兼容性，方便調(diào)用。

不同的是，高通主要是通過(guò)其DSP來(lái)做AI計(jì)算加速。而聯(lián)發(fā)科的NeuroPilot人工智能平臺(tái)則是通過(guò)APU這個(gè)單元。而這個(gè)APU并不是一個(gè)固定的人工智能處理器。

“這里的APU是一個(gè)AI處理器的統(tǒng)稱(chēng)，我們會(huì)根據(jù)不同的市場(chǎng)定位和需求采取不同的配置，它既可以是一顆DSP，也可以是兩顆DSP，也可以是NPU，或者是其他的組合。更具有靈活性?！绷肿诂幗忉尩?。

此外，NeuroPilot平臺(tái)有完整的API支持，可同時(shí)支持高中低階API，可以兼顧到客戶可移植性跟客制化的需求。比如，對(duì)于一些需要High level的API framework支持的APP，NeuroPilot支持了市場(chǎng)上現(xiàn)有的眾多AI架構(gòu)，包括Google的TensorFlow、Caffe、Caffe2、Amazon的MXNet、Sony的NNabla等。讓這些合作伙伴可以去寫(xiě)一些東西。

而對(duì)于人臉解鎖、人臉支付一類(lèi)的需要軟件深度結(jié)合（避免一些安全性的問(wèn)題）的Pre-built的應(yīng)用，聯(lián)發(fā)科則是通過(guò)與一些戰(zhàn)略性合作伙伴（比如國(guó)內(nèi)商湯、曠世等）來(lái)實(shí)現(xiàn)。而這些合作伙伴的需求則是既希望客制化，又希望可以很容易復(fù)制到其他平臺(tái)上去?；谶@樣的需求，聯(lián)發(fā)科提出一個(gè)Runtime中間層，把一些比較通用的AI應(yīng)用的運(yùn)算概念裝在里面。再提供一些客制化的接口給合作伙伴提供客制化的需求。

林宗瑤表示：“之所以采用這樣的設(shè)計(jì)，一方面是由于合作伙伴不希望自己定制的一些AI指令讓別人知道，所以他們會(huì)希望直接從上面對(duì)接到最底層來(lái)。另一方面，他們希望自己的這些AI指令能更有效的運(yùn)行。所以有這樣的架構(gòu)，基本上這些深度優(yōu)化的合作伙伴，可以同時(shí)兼顧到垂直性和客制化的需求?！?/p>

除了提供人工智能處理器，聯(lián)發(fā)科也推出了NeuroPilot SDK開(kāi)發(fā)工具包，讓開(kāi)發(fā)者得以更為便利地采用聯(lián)發(fā)科芯片，打造AI應(yīng)用程序與功能。

“我們的工具包分為從最上層的系統(tǒng) level 到中間的runtime level到后面底層的各個(gè)level都有提供。怎么從系統(tǒng)層級(jí)到 runtime level，到加速器的層級(jí)，這加速器包括 CPU、GPU、APU。那我們合作伙伴可以很容易的去做一些 debug 的開(kāi)發(fā)工作。NeuroPilot是一個(gè)跨平臺(tái)、跨產(chǎn)品線的架構(gòu)，所以在不同的操作系統(tǒng)上（Android，Linux…），AI應(yīng)用開(kāi)發(fā)商看到的NeuroPilot架構(gòu)是一樣的，當(dāng)然這個(gè)架構(gòu)會(huì)在最底層做一些差異化。也就是說(shuō)，今天我們?cè)贏ndroid平臺(tái)的開(kāi)發(fā)一個(gè)AI應(yīng)用，它可以不做轉(zhuǎn)化就把這些應(yīng)用直接搬到Linux上做運(yùn)行，可以大幅度減少開(kāi)發(fā)商的工作，這是蠻重要的一個(gè)特點(diǎn)。你只要寫(xiě)一次，基本上就可以跨到很多平臺(tái)上面?！?/p>

可能前面關(guān)于聯(lián)發(fā)科NeuroPilot人工智能平臺(tái)的介紹似乎有些偏技術(shù)，有些不太好理解。不過(guò)，我們需要知道的是，聯(lián)發(fā)科的NeuroPilot人工智能平臺(tái)不僅括了CPU、GPU、APU等硬件單元，也包括了軟件框架和NeuroPilot SDK，是一個(gè)完整的人工智能解決方案平臺(tái)。同時(shí)它還是一個(gè)開(kāi)放的、跨平臺(tái)、跨產(chǎn)品線的架構(gòu)。這也意味著聯(lián)發(fā)科的NeuroPilot人工智能平臺(tái)具有很強(qiáng)的普適性，結(jié)合NeuroPilot SDK可以幫助AI開(kāi)發(fā)商非常容易的實(shí)現(xiàn)跨平臺(tái)、跨產(chǎn)品線的部署。

聯(lián)發(fā)科：我們要做AI普及者！

相對(duì)于去年就推出AI芯片的華為、蘋(píng)果，以及號(hào)稱(chēng)已經(jīng)發(fā)展到了第三代AI處理的高通等手機(jī)芯片廠商來(lái)說(shuō)，聯(lián)發(fā)科可謂是一個(gè)后來(lái)者，直到去年年底才透露將會(huì)在今年推出AI芯片。不過(guò)這并不代表聯(lián)發(fā)科已經(jīng)在這場(chǎng)競(jìng)爭(zhēng)當(dāng)中面臨失利。

業(yè)內(nèi)常說(shuō)AI的三個(gè)關(guān)鍵要素是：算力、算法和數(shù)據(jù)。而對(duì)于芯片廠商來(lái)說(shuō)，AI芯片則是算力和算法的結(jié)合，不過(guò)除了這兩點(diǎn)之外，功耗和成本也是需要關(guān)注的關(guān)鍵點(diǎn)。如果避開(kāi)功耗和成本來(lái)談算力就是有點(diǎn)耍流氓了。另外需要注意的是，AI芯片將AI算法和軟件固化在了芯片當(dāng)中，只有支持特定的算法和接口的AI應(yīng)用才會(huì)有比較好的加速效果，這也意味的采用專(zhuān)用AI芯片，其可擴(kuò)展性和軟件可移植性要相對(duì)較差。

我們都知道聯(lián)發(fā)科的芯片一直一來(lái)都不是單純的以性能見(jiàn)長(zhǎng)，更多的強(qiáng)調(diào)的性能和功耗的平衡，以及性價(jià)比。同樣，聯(lián)發(fā)科的AI芯片定位也是如此。相對(duì)于集成了專(zhuān)用AI芯片（NPU）的蘋(píng)果A11、麒麟970來(lái)說(shuō)，雖然其AI計(jì)算性能可能更強(qiáng)，但是其功耗和成本也更高。而聯(lián)發(fā)科的NeuroPilot人工智能平臺(tái)更多追求的是AI性能、功耗與成本的平衡，同時(shí)也兼顧了可擴(kuò)展性和軟件的可移植性。這也使得聯(lián)發(fā)科將自己定位為終端人工智能的推動(dòng)者和普及者。

相對(duì)于高通、蘋(píng)果、華為等AI芯片廠商來(lái)說(shuō)，他們目前更多的關(guān)注點(diǎn)還是在智能手機(jī)市場(chǎng)，特別是在高端智能手機(jī)市場(chǎng)。而聯(lián)發(fā)科關(guān)注的則是如果將AI帶入到中低端手機(jī)當(dāng)中，帶入到聯(lián)發(fā)科現(xiàn)有涉及的智能電視、路由器、物聯(lián)網(wǎng)、車(chē)載電子、智能音箱等眾多智能設(shè)備當(dāng)中，成為終端人工智能的普及者，讓更多的用戶體驗(yàn)到AI所帶來(lái)的改變。

以當(dāng)下非?；鸨闹悄芤粝湓O(shè)備為例，目前更多的還是依托于云端來(lái)實(shí)現(xiàn)人工智能，未來(lái)智能音箱也或?qū)⒃诮K端側(cè)部署人工智能，可以進(jìn)一步提升語(yǔ)音識(shí)別的準(zhǔn)確度、降低延時(shí)、降低對(duì)于網(wǎng)絡(luò)的依賴。

目前市場(chǎng)上最火的智能音箱產(chǎn)品當(dāng)屬亞馬遜的Echo，其次是谷歌的Google Home。根據(jù)市場(chǎng)調(diào)查公司 Strategy Analytics公布的最新統(tǒng)計(jì)數(shù)據(jù)顯示，2017 年 三季度全球智能音箱出貨量達(dá)到了740萬(wàn)臺(tái)，較 2016 年同期暴漲了708%。其中亞馬遜拿下了近7成的市場(chǎng)；谷歌也拿下了兩成以上的市場(chǎng)。其次分別為京東（1.6%）、小米（1.3%） 和阿里巴巴（0.9%）。

而在去年，聯(lián)發(fā)科憑借MT8516成為亞馬遜Echo新一代智能語(yǔ)音助理產(chǎn)品的唯一芯片供應(yīng)商。這也意味著，聯(lián)發(fā)科憑借與亞馬遜的合作一下子就將占據(jù)近70%的智能音箱市場(chǎng)。此外，阿里巴巴的天貓精靈X1也采用的是聯(lián)發(fā)科的MT8516方案。

在物聯(lián)網(wǎng)市場(chǎng)，特別是在終端數(shù)量巨大的共享單車(chē)市場(chǎng)，聯(lián)發(fā)科的2G模組、藍(lán)牙解鎖、衛(wèi)星定位產(chǎn)品拿下了很大的市場(chǎng)份額。僅在2G模組上，聯(lián)發(fā)科所占份額超過(guò)九成。值得一提的是，市面上近一半的共享單車(chē)都使用聯(lián)發(fā)科的MT2503芯片模組。而隨著共享單車(chē)開(kāi)始換裝聯(lián)網(wǎng)智能鎖，聯(lián)發(fā)科也或?qū)⒂型麚屜虏糠质袌?chǎng)。去年MWC聯(lián)發(fā)科推出了旗下首款NB-IoT系統(tǒng)單芯片MT2625，并攜手中國(guó)移動(dòng)發(fā)布了尺寸最小的NB—IoT通用模組。去年11月，聯(lián)發(fā)科還發(fā)布業(yè)界首款支持3GPP R14版標(biāo)準(zhǔn)的NB-IoT雙模芯片MT2621。

另外，WiFi和藍(lán)牙傳輸模塊的產(chǎn)品線也是聯(lián)發(fā)科爭(zhēng)奪物聯(lián)網(wǎng)市場(chǎng)的利器。因?yàn)?，不論是智能電視、智能音箱還是筆記本電腦，都需要WiFi聯(lián)網(wǎng)。聯(lián)發(fā)科在WiFi 802.11ac標(biāo)準(zhǔn)中的市場(chǎng)占有率正在不斷增加，根據(jù)此前數(shù)顯示，這個(gè)分支部門(mén)目前每年都有超過(guò)10%的營(yíng)收增長(zhǎng)。

而最新的消息顯示，下個(gè)月即將上市的蘋(píng)果智能音箱HomePodH的Wi-Fi定制芯片（ASIC）也是由聯(lián)發(fā)科供應(yīng)的，該芯片也有望是聯(lián)發(fā)科首款7納米制程芯片，ASIC被聯(lián)發(fā)科集團(tuán)視為未來(lái)重點(diǎn)項(xiàng)目，其子公司聚星，在董事長(zhǎng)梁公偉親自帶隊(duì)下主攻ASIC應(yīng)用，目標(biāo)成為成長(zhǎng)最快速的ASIC供貨商。

智能電視和智能電視盒子也是聯(lián)發(fā)科的強(qiáng)勢(shì)市場(chǎng)，目前眾多的智能電視品牌和智能電視盒子廠商都有采用聯(lián)發(fā)科或Mstar（早已被聯(lián)發(fā)科收購(gòu)）的方案。

2016年底，聯(lián)發(fā)科正式宣布進(jìn)軍車(chē)用芯片市場(chǎng)，并于2017年初推出了汽車(chē)及工業(yè)級(jí)應(yīng)用的高精度定位全球衛(wèi)星導(dǎo)航系統(tǒng)解決方案MT3303。該方案集成GNSS和內(nèi)存芯片, 可支持GPS、Glonass、Galileo和中國(guó)北斗等四種全球衛(wèi)星導(dǎo)航系統(tǒng)規(guī)格。去年二季度這款芯片已經(jīng)正式出貨。

而在智能手機(jī)市場(chǎng)，雖然聯(lián)發(fā)科自去年下半年以來(lái)遭遇了諸多挫折，不過(guò)現(xiàn)在已經(jīng)重回升勢(shì)，奪回了不少丟失的中端市場(chǎng)，去年下半年出貨的Helio P30/23都取得了不錯(cuò)的市場(chǎng)表現(xiàn)。而近期聯(lián)發(fā)科的兩款全新的中端芯片P70、P40也被曝光。

特別值得一提的是，Helio P40和Helio P70都加入了對(duì)于AI的支持，通過(guò)DSP來(lái)進(jìn)行AI運(yùn)算，支持caffe 1/2、Google TensorFlow等。

在此次媒體溝通會(huì)上，聯(lián)發(fā)科也透露，將會(huì)在即將到來(lái)的MWC展上正式發(fā)布AI芯片。如果不出意外的話，應(yīng)該就是Helio P40和Helio P70。

從上面的介紹我們不難看出，相對(duì)于其他AI芯片廠商來(lái)說(shuō)，聯(lián)發(fā)科不僅在中低端智能手機(jī)市場(chǎng)占據(jù)了重要的市場(chǎng)地位，在智能電視、物聯(lián)網(wǎng)、智能音箱等智能設(shè)備也占據(jù)了很大的市場(chǎng)份額，此外在增長(zhǎng)潛力巨大的車(chē)載電子市場(chǎng)也有布局。而在這些成績(jī)的背后，都是聯(lián)發(fā)科自己的SoC芯片技術(shù)、有線/無(wú)線聯(lián)網(wǎng)技術(shù)、ISP視覺(jué)、語(yǔ)音編解碼引擎、多媒體技術(shù)、傳感器技術(shù)等眾多IP的來(lái)支撐的。

“能夠同時(shí)擁有這么多技術(shù)，然后同時(shí)可以應(yīng)用到這么多產(chǎn)品線的，放眼全球就聯(lián)發(fā)科一家公司。這也使得我們的NeuroPilot AI平臺(tái)除了提供最基本AI功能之外，還可搭配我們這些技術(shù)，一起去支持這么多產(chǎn)品線。開(kāi)發(fā)上只需一次編程，就可以同時(shí)部署到很多產(chǎn)品線，所以可以很快把一些AI的應(yīng)用擴(kuò)散到很多角落去?！?/p>

“雖然我們不是AI的先行者，但是我們希望做AI的普及者！”林宗瑤非常有信心的說(shuō)到。