后摩爾時(shí)代，半導(dǎo)體的新戰(zhàn)場(chǎng)與新機(jī)會(huì)

來源：智東西公開課

智東西公開課推出的AI芯片系列課完結(jié)第五講，華登國際合伙人王林就主題《人工智能帶來半導(dǎo)體的又一波創(chuàng)新浪潮》進(jìn)行了一場(chǎng)系統(tǒng)且深入的講解。在此番講解中，王林認(rèn)為，“隨著技術(shù)推動(dòng)力——摩爾定律，受到越來越大的挑戰(zhàn)，而應(yīng)用的最大推動(dòng)力——智能手機(jī)，也遇到了非常大的增長瓶頸”，全球半導(dǎo)體行業(yè)已經(jīng)進(jìn)入后摩爾時(shí)代與后智能手機(jī)時(shí)代。他判斷，在后摩爾+后智能手機(jī)時(shí)代，神經(jīng)網(wǎng)絡(luò)/深度學(xué)習(xí)已經(jīng)成為半導(dǎo)體的新戰(zhàn)場(chǎng)。

在行業(yè)應(yīng)用層面，深度學(xué)習(xí)在快速變革傳統(tǒng)行業(yè)并帶來非常多新的應(yīng)用，比如無人駕駛、醫(yī)療影像分析、工業(yè)自動(dòng)化，F(xiàn)inTech。尤其是汽車，已經(jīng)變成非常巨大的半導(dǎo)體應(yīng)用平臺(tái)。“全球所有頂尖的半導(dǎo)體公司都在圍繞汽車來做未來的產(chǎn)品規(guī)劃，希望其能夠成為智能手機(jī)之后，對(duì)全球半導(dǎo)體行業(yè)有巨大推動(dòng)力的推手?！倍?a target="_blank">處理器或架構(gòu)層面，圍繞深度學(xué)習(xí)訓(xùn)練與推理二個(gè)維度的加速需求，尤其是云端訓(xùn)練與推理、以及終端推理，出現(xiàn)非常多的芯片層面實(shí)現(xiàn)加速的創(chuàng)新方法或技術(shù)。結(jié)合有代表性的AI加速芯片產(chǎn)品或案例，就其中存在的創(chuàng)業(yè)機(jī)會(huì)與投資機(jī)會(huì)，他進(jìn)行了深入的介紹和分析。

主講實(shí)錄

王林：大家晚上好，我是華登國際的王林，很高興今天晚上有機(jī)會(huì)在智東西公開課的AI芯片社群跟大家做一些交流。其實(shí)今天晚上的演講壓力還是很大的，因?yàn)槲铱吹饺豪镉泻芏辔业睦吓笥眩际切酒蛘逜I領(lǐng)域的高手。

平時(shí)演講我都是盡量在懂芯片的人面前講AI，在懂AI的人面前講芯片，但是今天就沒辦法這么做了，因?yàn)槿豪镉泻芏嘈酒虯I領(lǐng)域的高手。我盡我所能，如果有說的不對(duì)或者不太好的地方，還請(qǐng)大家多多包涵，主要是能有這樣一個(gè)跟大家交流的機(jī)會(huì)確實(shí)非常難得。

今天來講AI加速芯片還是一個(gè)挺應(yīng)景的事情，因?yàn)樽蛱焐铊b科技宣布被Xilinx全資收購。這也是我們能夠看到近期少有的中國高科技公司被美國半導(dǎo)體公司并購的案例，以前我們更熟悉的是聽到中國資本去海外并購一些科技公司或者半導(dǎo)體公司。深鑒科技在這方面做了一個(gè)很好的范例。從另一方面也說明我們中國的AI芯片在全球也處于比較領(lǐng)先的地位，當(dāng)然也證明了AI芯片方面的創(chuàng)業(yè)還是挺有前（錢）景的。

講到半導(dǎo)體，不得不從摩爾定律說起。我相信群里半導(dǎo)體從業(yè)人員對(duì)摩爾定律已經(jīng)非常熟悉了，從Intel創(chuàng)始人戈登·摩爾提出摩爾定律到現(xiàn)在已經(jīng)53年了。過去的53年中，半導(dǎo)體行業(yè)一直受著摩爾定律的指導(dǎo)。芯片越做越小，單位面積的晶體管越來越多，功耗越來越低，價(jià)格越來越便宜，也使得這個(gè)行業(yè)過去五十多年來一直保持不錯(cuò)的增長趨勢(shì)。

我想給大家看下這張圖。其實(shí)過去在投資界有一個(gè)共識(shí)，大家都認(rèn)為半導(dǎo)體投資是非常不劃算的事情，風(fēng)險(xiǎn)高、投資大、回報(bào)相對(duì)來說又比較低。所以，風(fēng)險(xiǎn)投資對(duì)半導(dǎo)體行業(yè)的投資在過去十來年一直不溫不火，甚至是持續(xù)下降的趨勢(shì)。當(dāng)然半導(dǎo)體行業(yè)的增長也基本上印證了這樣一個(gè)理念，也就是從前些年來看，全球半導(dǎo)體行業(yè)并沒有一個(gè)非常大的增長幅度。

從右邊這張表可以看到2016年全球半導(dǎo)體的增長率也就7%，很多時(shí)候半導(dǎo)體的增長率可能只有2%-3%。但是，很奇怪的是2017年全球半導(dǎo)體有了一個(gè)跳躍式增長，達(dá)到20%。這是過去十年來半導(dǎo)體行業(yè)從來沒有看到過的事情，大家都瞠目結(jié)舌。所以，大家是否也有這樣一個(gè)疑問：為什么2017年的增長這么大？

還有一個(gè)比較值得關(guān)注的點(diǎn)，歐美的半導(dǎo)體行業(yè)已經(jīng)持續(xù)呈衰退狀態(tài)，但是2017年，其增長甚至比中國還要高，盡管中國一直維持著半導(dǎo)體高速增長的趨勢(shì)。從全球來看，中國市場(chǎng)仍然是增長最顯著的動(dòng)力源，也是一個(gè)非常耀眼的明星。

其實(shí)半導(dǎo)體的增長和集成電路芯片的應(yīng)用息息相關(guān)。不得不說過去十年半導(dǎo)體的增長，一定依賴于智能手機(jī)行業(yè)的爆發(fā)式增長。可以說，到目前為止可能全球有一半的芯片是為了智能手機(jī)生產(chǎn)和使用的。所以說，智能手機(jī)一定是過去十年集成電路行業(yè)發(fā)展非常大的推動(dòng)力。

但這里又不得不說，到現(xiàn)在為止我們已經(jīng)到了后智能手機(jī)時(shí)代。這里摘錄了一些新聞，通過標(biāo)題大家就可以看到從2016年開始，整個(gè)智能手機(jī)的增長相比之前是非常緩慢的。相信大家日常生活中應(yīng)該也能明顯感受到，手機(jī)上的創(chuàng)新越來越少，換機(jī)的動(dòng)力也越來越小，所以整個(gè)市場(chǎng)的增長持續(xù)一個(gè)很平靜的狀態(tài)。

同時(shí)，從技術(shù)角度來看，摩爾定律近期也受到了非常大的挑戰(zhàn)。雖然我仍然堅(jiān)信摩爾定律至少在近些年會(huì)持續(xù)演進(jìn)下去，但是不得不說，隨著工藝節(jié)點(diǎn)的越來越小，也會(huì)帶來成本的顯著性提高。我相信，未來7nm、5nm、3nm量產(chǎn)的日子一定會(huì)到來，但是也許到了那天可以用上或者說用得起那么先進(jìn)工藝的芯片公司也寥寥可數(shù)。業(yè)界目前有這樣一個(gè)共識(shí)：28nm應(yīng)該會(huì)是一個(gè)長期存在的工藝節(jié)點(diǎn)，其性能、成本是一個(gè)比較合理的均衡狀態(tài)。

對(duì)于半導(dǎo)體行業(yè)從業(yè)人員來說，這是一個(gè)很悲催的事情。技術(shù)的推動(dòng)力——摩爾定律，受到越來越大的挑戰(zhàn)，而應(yīng)用的最大推動(dòng)力——智能手機(jī)，也遇到了非常大的增長瓶頸。從技術(shù)推動(dòng)力和應(yīng)用兩大層面來說，半導(dǎo)體行業(yè)都遇到了很大的問題。所以，這也進(jìn)一步印證了為什么前幾年投資界對(duì)半導(dǎo)體行業(yè)這么悲觀，從某種程度上來說也是有一定道理的。

當(dāng)然，我們不能不承認(rèn)，敢從事半導(dǎo)體方面的人員一定是非常值得尊敬的，都是敢啃硬骨頭的。從我發(fā)的這張圖可以看到，其實(shí)工業(yè)界已經(jīng)在嘗試用多種方法盡量去使摩爾定律能夠更長期的延續(xù)下去，或者能夠以更低的成本延續(xù)下去，包括大家所知道的FinFET、FD SOI，都是業(yè)界正在推動(dòng)的一些主流技術(shù)路線。EUV光刻技術(shù)，三維封裝等都是能夠使摩爾定律長期維持下去的一個(gè)非常有效的手段。

從我個(gè)人來看，如果半導(dǎo)體行業(yè)仍然要像過去智能手機(jī)時(shí)代一樣飛速成長，一定要找到下一個(gè)應(yīng)用推手，也就是說一定要找到后智能手機(jī)時(shí)代什么應(yīng)用才是對(duì)我們半導(dǎo)體行業(yè)有巨大推動(dòng)力的應(yīng)用。我們來看下戈登·摩爾怎么說，他五十三年前提出摩爾定律的時(shí)候，同時(shí)做了一個(gè)預(yù)言。大家可以看下上圖右上角用紅色字體標(biāo)注的這段話。

其實(shí)戈登·摩爾在五十三年前已經(jīng)說了“集成電路會(huì)帶來家用電腦或者至少是和中央電腦所連接的終端設(shè)備、自動(dòng)駕駛、個(gè)人便攜通訊設(shè)備等”?？吹竭@里，我們就應(yīng)該清楚戈登·摩爾在五十三年前所做的預(yù)言，到今天為止已經(jīng)基本上都實(shí)現(xiàn)了。也就是說，其實(shí)戈登·摩爾已經(jīng)看到了集成電路的發(fā)展會(huì)帶來非常多的新應(yīng)用，而這些新應(yīng)用反過來會(huì)成為集成電路發(fā)展的巨大推動(dòng)力。

說到這里，讓我們來看，在后智能手機(jī)時(shí)代，什么才是集成電路行業(yè)的最大推動(dòng)力呢？

人工智能的出現(xiàn)讓業(yè)界眼前一亮，或者是讓半導(dǎo)體行業(yè)找到了新的方向和推動(dòng)力。當(dāng)然，很多人會(huì)說，深度學(xué)習(xí)也好、神經(jīng)網(wǎng)絡(luò)也好，只是一個(gè)技術(shù)，為何能夠成為從應(yīng)用角度去推動(dòng)集成電路發(fā)展的一個(gè)推手呢？

很明顯，到現(xiàn)在為止，大家耳熟能詳?shù)膹摹盎ヂ?lián)網(wǎng)+”到“AI+”可以看到深度學(xué)習(xí)的出現(xiàn)，給非常多的傳統(tǒng)行業(yè)帶來翻天覆地的變革機(jī)會(huì)，甚至帶來一些新的應(yīng)用。我覺得，這是深度學(xué)習(xí)所帶給我們的廣闊天地。大家比較熟悉的AlphaGo下圍棋，包括戈登·摩爾所說的無人駕駛汽車，其背后不得不說是深度學(xué)習(xí)的出現(xiàn)才帶來了這樣巨大的、有前景的應(yīng)用。當(dāng)然，還有醫(yī)療影像分析，GE、飛利浦、西門子這三家巨頭在他們最新的醫(yī)療影像設(shè)備上，其實(shí)已經(jīng)集成了非常強(qiáng)大的人工智能算法來輔助醫(yī)療影像科的醫(yī)生去更快更好更準(zhǔn)確的做診斷；工業(yè)自動(dòng)化領(lǐng)域，半導(dǎo)體生產(chǎn)制造、封裝測(cè)試領(lǐng)域帶有機(jī)器視覺功能的機(jī)器已經(jīng)非常多了，當(dāng)然還有FinTech。深度學(xué)習(xí)給各行各業(yè)帶來的變革已經(jīng)非常明顯。

我們應(yīng)該感謝深度學(xué)習(xí)給集成電路行業(yè)的發(fā)展帶來這么多新的應(yīng)用機(jī)會(huì)。但是反過來，沒有集成電路行業(yè)的有力支持，深度學(xué)習(xí)也不可能達(dá)到今天這樣令全球矚目的地位。

上面這張圖展示的是四代AlphaGo所使用的硬件平臺(tái)。第一代AlphaGo Fan是跑在176個(gè)GPU上，打敗李世石的第二代AlphaGo Lee當(dāng)時(shí)是跑在48個(gè)第一代Google TPU上，打敗柯潔的第三代AlphaGo Master跑在4個(gè)Google第二代TPU上，包括前不久出現(xiàn)的使用對(duì)抗神經(jīng)網(wǎng)絡(luò)等算法的AlphaGoZero仍然是跑在4個(gè)TPU上。

大家還是否記得一開始我說的為什么去年歐美半導(dǎo)體的增長這么大？在這里想跟大家說一下，我覺得AI是一個(gè)非常大的推動(dòng)力，帶來的更多是云端的一些需求，對(duì)數(shù)據(jù)和算力上的創(chuàng)新需要大量的存儲(chǔ)、更快的光通信等，同時(shí)對(duì)工業(yè)和汽車領(lǐng)域也帶來了非常多新的機(jī)會(huì)。

不得不說，歐美的半導(dǎo)體廠家在服務(wù)器、工業(yè)、汽車領(lǐng)域仍然擁有很強(qiáng)大的不可撼動(dòng)的優(yōu)勢(shì)和地位。如果說這三大領(lǐng)域得到了非?？焖俚膽?yīng)用增長和半導(dǎo)體芯片需求的增長，那么首先得益的肯定是歐美半導(dǎo)體公司。這也是為什么歐美的半導(dǎo)體公司在2017年能夠有這么耀眼的成績。

正如戈登·摩爾所說，集成電路的發(fā)展帶來了無人駕駛汽車，在這里也要感謝深度學(xué)習(xí)算法的出現(xiàn)，毫無疑問汽車已經(jīng)變成了一個(gè)非常巨大的半導(dǎo)體應(yīng)用平臺(tái)?？梢哉f全球所有頂尖的半導(dǎo)體公司都在圍繞著汽車來做未來的產(chǎn)品規(guī)劃，希望其能夠成為智能手機(jī)之后，對(duì)全球半導(dǎo)體行業(yè)有巨大推動(dòng)力的推手。當(dāng)然這個(gè)行業(yè)也在經(jīng)歷著巨大的變化，就是要實(shí)現(xiàn)汽車行業(yè)的四個(gè)現(xiàn)代化：新能源化、智能化、共享化、互聯(lián)網(wǎng)化。

從智能化的角度來說，沒有深度學(xué)習(xí)的出現(xiàn)，智能化的到來將是遙不可及的事情。但也正是因?yàn)橹悄芑某霈F(xiàn)，給了汽車非常多的賣點(diǎn)，使得消費(fèi)者愿意去選擇更智能、更具有吸引力的汽車，也使得汽車行業(yè)的增長帶來了集成電路行業(yè)這樣一個(gè)巨大的應(yīng)用平臺(tái)。

這張圖非常有意思，我經(jīng)常喜歡跟朋友們分享福特、通用和特斯拉這三家車廠最近的一些變化。通過這張圖大家可以看到汽車行業(yè)正在經(jīng)歷著巨大的變化，一方面是因?yàn)槠嚨陌雽?dǎo)體化電子化，另一方面也是因?yàn)樯疃葘W(xué)習(xí)帶來的汽車智能化。大家可以看到擁有電子化和智能化的特斯拉的市值已經(jīng)和通用、福特到了一個(gè)相同的位置。但是從出貨量和成立時(shí)間來看，特斯拉跟這兩位老大哥的差距其實(shí)還很大。

前面講了一些應(yīng)用以及半導(dǎo)體行業(yè)的一些發(fā)展趨勢(shì)，我覺得現(xiàn)在有必要再和大家探討一下，深度學(xué)習(xí)到底給我們帶來了什么？帶給半導(dǎo)體行業(yè)的創(chuàng)新點(diǎn)到底是什么？因?yàn)槲沂菍W(xué)工科出身的，其實(shí)對(duì)于學(xué)工科的學(xué)生來說，一開始接觸到深度學(xué)習(xí)會(huì)帶來一個(gè)非常大的思維障礙。因?yàn)閷?duì)于我們來說，以前學(xué)習(xí)的理論或者定理，總是要知道來龍去脈，不僅要知其然，還要知其所以然。但是對(duì)于深度學(xué)習(xí)來說，其實(shí)我們很難把他搞得這么清楚。

打一個(gè)不恰當(dāng)?shù)谋确?，深度學(xué)習(xí)更像中醫(yī)，可能更多的是憑經(jīng)驗(yàn)或者感覺，其實(shí)很多時(shí)候?qū)ξ覀儊碚f深度學(xué)習(xí)就像一個(gè)黑盒子或者灰盒子的狀態(tài)，我們沒辦法也沒能力去把這么龐大的神經(jīng)網(wǎng)絡(luò)里面的運(yùn)算規(guī)律搞清楚。

但是不管怎樣，深度學(xué)習(xí)帶給我們的結(jié)果大家是看得到的，深度學(xué)習(xí)我們使用的時(shí)候需要做訓(xùn)練，然后反過來需要推理，這樣的過程我們已經(jīng)做得非常熟了，所以在以后工程化應(yīng)用過程中，已經(jīng)沒有理論上的一些障礙了。

深度學(xué)習(xí)也確實(shí)給工業(yè)界帶來了巨大的效率提升，雖然我這里只是列了一些比較老的數(shù)據(jù)，但其實(shí)96.4%的準(zhǔn)確度已經(jīng)已經(jīng)超過了人類的水平。

那么深度學(xué)習(xí)要選擇處理平臺(tái)或者什么樣的架構(gòu)來做運(yùn)算呢？其實(shí)很自然的一個(gè)想法就是，既然神經(jīng)網(wǎng)絡(luò)是從人腦來仿真和模擬出來的，那么我們是不是應(yīng)該有一個(gè)類腦運(yùn)算平臺(tái)或者類腦芯片呢？其實(shí)業(yè)界也有非常多的公司在做這方面的探索。

在這里我就列了兩家做公司做的類腦芯片：IBM的Truenorth和高通的Zeroth，都是比較典型的類腦芯片。不知道大家是否有印象，大概一兩年前，國內(nèi)曾有報(bào)道稱浙江大學(xué)發(fā)布了應(yīng)該是國內(nèi)第一款基于SNN（脈沖神經(jīng)網(wǎng)絡(luò)） 的類腦芯片。

因?yàn)樨?fù)責(zé)這款芯片開發(fā)的教授正好是我浙大的師兄，所以看到這個(gè)新聞之后，我也跟他做了一些溝通，就是基于SNN的類腦架構(gòu)在理論水平和芯片水平上到底是什么層次？可以看到趨勢(shì)還是很明顯的，至少在工程上已經(jīng)得到了實(shí)現(xiàn)的可能性驗(yàn)證，他們?cè)贠CR的識(shí)別上應(yīng)該有達(dá)到70-80%的準(zhǔn)確度。但是，很遺憾的是SNN一直沒有非常合適運(yùn)算平臺(tái)，造成SNN從理論、算法的基礎(chǔ)研究上是嚴(yán)重滯后于深度學(xué)習(xí)的科研水平。

不管怎樣，我認(rèn)為類腦芯片還是非常值得我們關(guān)注的一個(gè)未來趨勢(shì)。但是，短期來看還是基于深度學(xué)習(xí)算法和運(yùn)算平臺(tái)更值得工業(yè)界去關(guān)注和探索。

這里我們不得不提到另外一個(gè)人——馮·諾依曼。他在1946年提出的馮諾依曼架構(gòu)一直指導(dǎo)著我們計(jì)算體系架構(gòu)的發(fā)展。絕大多數(shù)的體系架構(gòu)創(chuàng)新都是基于馮諾依曼架構(gòu)的，都沒有超出他的框架范圍。馮諾依曼提出所有的計(jì)算機(jī)的都由存儲(chǔ)、控制、邏輯運(yùn)算、輸入和輸出五部分組成。

我大致做了一個(gè)歸類，不知道是否準(zhǔn)確，只是說在我做投資和分析的時(shí)候給我一些指導(dǎo)，可能對(duì)我個(gè)人有些幫助。我把馮諾依曼架構(gòu)的五大組成部分分為三類，輸入輸出歸類于交互，控制和邏輯歸類于計(jì)算，存儲(chǔ)單獨(dú)列為一類，也就是交互、計(jì)算和存儲(chǔ)三部分。我覺得深度學(xué)習(xí)對(duì)這三方面都提出了非常多的創(chuàng)新要求，也使我們看到了非常多創(chuàng)新的機(jī)會(huì)。

大家都在說深度學(xué)習(xí)三要素：算法、算力和數(shù)據(jù)，從某種程度上跟我之前總結(jié)出來的交互、計(jì)算和存儲(chǔ)三大計(jì)算機(jī)體系組成是一一對(duì)應(yīng)、息息相關(guān)的。后面我也會(huì)從算力和存儲(chǔ)的方向，闡述下我個(gè)人認(rèn)為創(chuàng)新的點(diǎn)和需要攻克的難點(diǎn)到底在哪里。

深度學(xué)習(xí)到目前為止可以說是兵家必爭(zhēng)之地，包括我們現(xiàn)在看到深鑒科技被Xilinx收購。其實(shí)國內(nèi)還有很多企業(yè)在做深度學(xué)習(xí)加速的研究。國際上，高通投資了商湯，Intel投資了地平線，華為海思的麒麟970里面集成的深度學(xué)習(xí)加速IP來自北京的寒武紀(jì)科技。其實(shí)可以看到，不管是創(chuàng)業(yè)公司還是國際上的大公司，深度學(xué)習(xí)都受到非常多的關(guān)注。

雖然都是深度學(xué)習(xí)的加速，但是在不同的應(yīng)用領(lǐng)域，我們還是要分別來對(duì)待。包括深度學(xué)習(xí)的訓(xùn)練和推理，芯片的應(yīng)用場(chǎng)景，比如云端和我們所謂的終端，我認(rèn)為在不同的芯片里面，對(duì)于加速的要求還是不太一樣的。

對(duì)于終端的訓(xùn)練來說，我還沒有看到太多的機(jī)會(huì)或者應(yīng)用場(chǎng)景，包括從功耗的角度是否存在這樣的可能性，也值得大家去探討和思考。

但是在云端訓(xùn)練的角度來看，GPU是占有絕對(duì)優(yōu)勢(shì)的，當(dāng)然FPGA的加速卡、包括Google在做的TPU用來做訓(xùn)練的ASIC也都在顯示自己的威力；我覺得終端inference，會(huì)是一個(gè)更加廣闊的應(yīng)用場(chǎng)景。對(duì)于終端來說，從功耗、成本的角度來考慮，ASIC是更加值得大家去關(guān)注的一個(gè)趨勢(shì)。

接下來我來給大家分享一些比較主流的深度學(xué)習(xí)在芯片層面實(shí)現(xiàn)加速的方法。我相信有更多的專家在這方面會(huì)講出更值得大家去思考和探討的內(nèi)容。

脈動(dòng)陣列并不是一個(gè)新鮮的詞匯，在計(jì)算機(jī)體系架構(gòu)里面已經(jīng)存在很長時(shí)間。大家可以回憶下馮諾依曼架構(gòu)，很多時(shí)候數(shù)據(jù)一定是存儲(chǔ)在memory里面的，當(dāng)要運(yùn)算的時(shí)候需要從memory里面?zhèn)鬏數(shù)紹uffer或者Cache里面去。當(dāng)我們使用computing的功能來運(yùn)算的時(shí)候，往往computing消耗的時(shí)間并不是瓶頸，更多的瓶頸在于memory的存和取。所以脈動(dòng)陣列的邏輯也很簡(jiǎn)單，既然memory讀取一次需要消耗更多的時(shí)間，脈動(dòng)陣列盡力在一次memory讀取的過程中可以運(yùn)行更多的計(jì)算，來平衡存儲(chǔ)和計(jì)算之間的時(shí)間消耗。

上面這張圖非常直觀的從一維數(shù)據(jù)流展示了脈動(dòng)陣列的簡(jiǎn)單邏輯。當(dāng)然，對(duì)于CNN等神經(jīng)網(wǎng)絡(luò)來說，很多時(shí)候是二維的矩陣。所以，脈動(dòng)陣列從一維到二維也能夠非常契合CNN的矩陣乘加的架構(gòu)。

我們還可以從體系架構(gòu)上對(duì)整個(gè)的Memory讀取來做進(jìn)一步的優(yōu)化。這里摘取的是寒武紀(jì)展示的一些科研成果。其實(shí)比較主流的方式就是盡量做Data Reuse，減少片上Memory和片外Memory的信息讀取次數(shù)，增加片上memory，因?yàn)槠蠑?shù)據(jù)讀取會(huì)更快一點(diǎn)，這種方式也能夠盡量降低Memory讀取所消耗的時(shí)間，從而達(dá)到運(yùn)算的加速。

還有就是大家比較熟悉的剪枝技術(shù)。這也是深鑒科技當(dāng)時(shí)出來創(chuàng)業(yè)賴以成名的絕技。對(duì)于神經(jīng)網(wǎng)絡(luò)來說，其實(shí)很多的連接并不是一定要存在的，也就是說我去掉一些連接，可能壓縮后的網(wǎng)絡(luò)精度相比壓縮之前并沒有太大的變化?；谶@樣的理念，很多剪枝的方案也被提了出來，也確實(shí)從壓縮的角度帶來了很大效果提升。

需要特別提出的是，大家從圖中可以看到，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)包括卷積層和全連接層兩大塊，剪枝對(duì)全連接層的壓縮效率是最大的。下面柱狀圖的藍(lán)色部分就是壓縮之后的系數(shù)占比，從中可以看到剪枝對(duì)全連接層的壓縮是最大的，而對(duì)卷積層的壓縮效果相比全連接層則差了很多。

所以這也是為什么，在語音的加速上很容易用到剪枝的一些方案，但是在機(jī)器視覺等需要大量卷積層的應(yīng)用中剪枝效果并不理想。我相信這也是未來很好的創(chuàng)業(yè)和搞科研的方向。

對(duì)于整個(gè)DeepLearning網(wǎng)絡(luò)來說，每個(gè)權(quán)重系數(shù)是不是一定要浮點(diǎn)的，定點(diǎn)是否就能滿足？定點(diǎn)是不是一定要32位的？很多人提出8位甚至1位的定點(diǎn)系數(shù)也能達(dá)到很不錯(cuò)的效果，這樣的話從系數(shù)壓縮來看就會(huì)有非常大的效果。從下面三張人臉識(shí)別的紅點(diǎn)和綠點(diǎn)的對(duì)比，就可以看到其實(shí)8位定點(diǎn)系數(shù)在很多情況下已經(jīng)非常適用了，和32位定點(diǎn)系數(shù)相比并沒有太大的變化。所以，從這個(gè)角度來說，權(quán)重系數(shù)的壓縮也會(huì)帶來網(wǎng)絡(luò)模型的壓縮，從而帶來計(jì)算的加速。

當(dāng)然，一個(gè)不能回避的問題是計(jì)算和存儲(chǔ)之間的存儲(chǔ)墻到現(xiàn)在為止依然存在，仍然有大量的時(shí)間消耗在和存儲(chǔ)相關(guān)的操作上。

一個(gè)很簡(jiǎn)單直觀的技術(shù)解決方式，就是堆疊更多更快速更高效的存儲(chǔ)，HBM孕育而生，也即在運(yùn)算芯片的周圍堆疊出大量的3D Memory，通過通孔來連接，不需要與片外的接口進(jìn)行交互，從而大大降低存儲(chǔ)墻的限制。

更有甚者提出說，存儲(chǔ)一定要和計(jì)算分離嗎，存儲(chǔ)和運(yùn)算是不是可以融合在一起，PIM(Processing in Memory)的概念應(yīng)運(yùn)而生。我覺得，這也是一個(gè)非常值得大家去關(guān)注的領(lǐng)域。我知道，群里有些朋友也在PIM領(lǐng)域做一些創(chuàng)業(yè)的嘗試。

當(dāng)然，除了前面說到存儲(chǔ)內(nèi)置，以及存儲(chǔ)與運(yùn)算的融合，有沒有一個(gè)更快的接口能夠加速和片外Memory的交互也是一個(gè)很好的方向。其實(shí)上面這個(gè)概念是NVIDIA提出來的interface（接口），叫做NVLink。下面的表展示的是NVLink和PCIe Gen3的對(duì)比。大家平時(shí)看到跟存儲(chǔ)相關(guān)的的PCIe卡可能是PCIe Gen3 by 4，只有4個(gè)lanes和Memory對(duì)接，但是NVLink與有16個(gè)PCIe的lanes的PCIe Gen3對(duì)比，速度也有很大的提升，可以看到NVLink在速度層面是一個(gè)非常好的interface。

前面講了一些在我看來比較經(jīng)典的加速方法。下面我會(huì)分享幾個(gè)已經(jīng)存在的AI加速芯片的例子，相信這樣會(huì)更加直觀。

第一個(gè)是Google的TPU。從右邊的芯片框圖可以看到，有一個(gè)64K的乘加MAC陣列對(duì)乘加運(yùn)算進(jìn)行加速。從論文中可以看到里面已經(jīng)用到了脈動(dòng)陣列的架構(gòu)方法來對(duì)運(yùn)算進(jìn)行加速，另外也有我們前面提到的大量的片上Memory 這樣的路徑。上面藍(lán)色框圖中大家可以看到有一個(gè)24MiB的片上Memory，而且有兩個(gè)高速DDR3接口能夠與片外的DDR做交互。

上圖展示的第二代TPU。從圖中可以很直觀的看到，它用到了我們前面所說到的HBM Memory。從其論文披露的信息也可以看到，二代TPU在第一代的基礎(chǔ)上增加了我們前面說到的剪枝，權(quán)重壓縮等方面做了很多嘗試，也是一個(gè)非常經(jīng)典的云端AI加速芯片的例子。

這家公司叫SambaNova，不知道大家有沒有聽說過，是我們和Google Venture投資的一家做云端AI加速芯片的硅谷公司。他們更多是想要挑戰(zhàn)NVIDIA在云端訓(xùn)練的地位。前面提到的很多加速的方法他們都會(huì)去做嘗試，包括片上Memory、HBM等。其實(shí)更值得一提的是SambaNova非常強(qiáng)大的軟件實(shí)現(xiàn)的團(tuán)隊(duì)力量。其實(shí)大家現(xiàn)在看到的一些加速芯片所支持的框架，可能更多是TensorFlow、Caffe這兩個(gè)比較流行的框架。但是，他們開始支持微軟和Facebook發(fā)布的框架Onnx。在他們看來，Onnx是通用性和兼容性更好的一個(gè)框架。

接下來跟大家分享幾個(gè)終端做Inference的例子。第一個(gè)是Rokid和杭州國芯共同打造的一顆針對(duì)智能音箱的SoC，AI加速只是里面的一個(gè)功能。通過右邊的框圖可以看到里面集成了Cadence的DSP，還有自己設(shè)計(jì)的語音加速硬件IP——NPU。這款芯片還集成了一些實(shí)現(xiàn)智能音箱必要的interface，最值得一提的是在SiP層面封裝了Embedded DRAM，可以更好的在系統(tǒng)層面實(shí)現(xiàn)數(shù)據(jù)的交互，實(shí)現(xiàn)存儲(chǔ)和運(yùn)算的加速，也實(shí)現(xiàn)了AI加速的功能。

最后說一款華為海思最新的IP Camera芯片——3559A，也是我個(gè)人比較喜歡的一款芯片。從集成度以及整個(gè)設(shè)計(jì)的均衡性來說，都令人眼前一亮?？梢钥聪掠疑辖菐讉€(gè)藍(lán)色的標(biāo)準(zhǔn)模塊，里面集成的是海思自主研發(fā)的做推理的IP——NNIE，同時(shí)還集成了Tensilica DSP，在靈活性和擴(kuò)展度上做了一個(gè)非常好的補(bǔ)充。

今天不光講了創(chuàng)業(yè)的機(jī)會(huì)、投資的機(jī)會(huì)，我認(rèn)為也正是因?yàn)橹袊辛爽F(xiàn)在非常好的產(chǎn)業(yè)政策，不管是人才還是市場(chǎng)，都是一個(gè)很好的創(chuàng)業(yè)土壤。我覺得AI加速方面創(chuàng)業(yè)和投資的機(jī)會(huì)依然存在，也希望和有志于在AI領(lǐng)域創(chuàng)業(yè)的朋友多多交流。謝謝大家，我的分享到這里就結(jié)束了。