探索AI軟硬件適配之路，共創(chuàng)算力服務新未來

未來不僅是GPU的市場，還是存算融合、存算一體。

11月30日至12月1日，由中國科技產(chǎn)業(yè)智庫「甲子光年」主辦的「致追風趕月的你」2023甲子引力年終盛典在北京順利舉行！百余位嘉賓齊聚一堂，聚焦產(chǎn)業(yè)前沿話題，剖析科技產(chǎn)業(yè)風口，總結(jié)分享這一年來的里程碑事件和行業(yè)變量，共同探尋科技產(chǎn)業(yè)融合與落地的方向與思路。

在12月1日的《探索AI軟硬件適配之路，共創(chuàng)算力服務新未來》主題圓桌中，青云科技副總裁&云業(yè)務部負責人沈鷗、億鑄科技創(chuàng)始人&董事長兼CEO熊大鵬、芯耀輝董事長&創(chuàng)始人曾克強、善思開悟COO余溢、傳智驛芯科技首席戰(zhàn)略官時昕、憶芯科技副總裁孫唐圍繞“算力服務的機遇與挑戰(zhàn)、算力需求滿足、生態(tài)構(gòu)建”等話題展開討論。

以下是本場圓桌的交流實錄，「甲子光年」整理刪改：

1.AI狂飆下，算力的機遇與挑戰(zhàn)

沈鷗：謝謝各位嘉賓，也謝謝下面的各位聽眾。我們今天上午的最后一個話題是談談算力，也談談國產(chǎn)GPU和***行業(yè)，以及如何來應對大模型以及AI的快速發(fā)展所帶來的挑戰(zhàn)?，F(xiàn)在，我們先請各位嘉賓來自我介紹一下。

熊大鵬：我是熊大鵬，來自億鑄科技。我們公司主要做AI大算力芯片，具體來說，我們做的是全數(shù)字化的存算一體，這是一條比較新的技術路線。到目前為止，不管是從技術路線本身，還是從工程落地來講，都比較先進且具有優(yōu)勢。而且，我們的POC（原型概念驗證芯片）也已經(jīng)點亮成功了，經(jīng)第三方機構(gòu)驗證，能效比表現(xiàn)超出目前基于先進工藝制程、傳統(tǒng)架構(gòu)AI芯片10倍以上。

曾克強：大家好，我是芯耀輝董事長、創(chuàng)始人曾克強。芯耀輝是國產(chǎn)先進工藝接口IP的領先供應商，專注于做先進工藝的接口IP。我們在先進工藝接口IP上，目前已經(jīng)實現(xiàn)了國內(nèi)唯一的最先進工藝上全線的所有主流接口IP國產(chǎn)化。我們提供的接口IP已經(jīng)支持了人工智能、高性能計算、5G通信、智能汽車、消費電子所有的核心應用。我們的產(chǎn)品已經(jīng)上市，并且被各個領域的頭部客戶所采用，也突破了國內(nèi)的卡脖子技術。

余溢：大家好，我是善思開悟的COO余溢。善思開悟依托國家超算廣州中心、英偉達無錫AI創(chuàng)新賦能中心兩大核心資源成立，致力于提供HPC+AI的一站式異構(gòu)算力解決方案，并提供一些生態(tài)方面的支持和服務。期待能夠通過本次盛典與大家達成合作，謝謝！

時昕：大家好，我是時昕，來自傳智驛芯。我們主要做芯片設計上游IP，同時提供解決方案。我們的產(chǎn)品和技術起點來自于納斯達克上市公司Arteris的一些片上網(wǎng)絡互連IP，然后以此為基礎，我們提供更多包括子系統(tǒng)IP和芯片設計解決方案在內(nèi)的服務。

稍微解釋一下片上網(wǎng)絡。我自己過去從事了很多年做處理器設計的工作，包括GPU等等。我之所以加入這家公司，一個主要原因就是隨著摩爾定律放緩，芯片性能的提升現(xiàn)在更多是要依靠多核、眾核包括異構(gòu)這種方式來提供更強大的算力。在眾核的時代，如何把幾百個甚至幾千個處理器核組織起來、調(diào)動起來，這就成為一個關鍵問題。而片上網(wǎng)絡互連會成為芯片內(nèi)部非常關鍵的技術。因此，我們以片上網(wǎng)絡（NoC）為起點，結(jié)合我們在各種多核方面的芯片設計經(jīng)驗，實際上可以幫助芯片設計客戶加快設計節(jié)奏，提高產(chǎn)品性價比。

過去，傳統(tǒng)的互連方式可能會占用到一個芯片里面1/3甚至更多的面積，而且在后端會導致?lián)砣蜁r序等問題。而我們通過NoC可以幫助大家以更低的代價實現(xiàn)片內(nèi)更高的帶寬和更低的時延。謝謝！

孫唐：大家好，我是憶芯科技的孫唐。我們憶芯科技是一家目標賦能大數(shù)據(jù)應用的芯片集方案的主控設計公司。我們的產(chǎn)品有兩個系列，一個是高性能的存儲主控，主要面向企業(yè)級市場，目前我們在國內(nèi)是信創(chuàng)頭部存儲主控以及存儲模組供應商。另一個系列是存算融合技術，這項技術主要是為了滿足未來智算中心算力和存力共同發(fā)展的業(yè)務需求，我們提供片上存力、算力一體化的業(yè)務解決方案。目前，我們有一些成熟的產(chǎn)品正在進入各地的數(shù)據(jù)中心以及相關的運營商市場。我很高興有機會和各位專家討論這個話題。

沈鷗：今天在座的各位嘉賓來自不同的專業(yè)領域，有做AI芯片的，有做IP技術的，也有做管理平臺的。我來自青云科技。今年，我們的客戶發(fā)現(xiàn)AI和大模型讓他們對業(yè)務有了很多新的想法和思路。對于青云科技這樣服務企業(yè)數(shù)字化的行業(yè)來說，我們面臨的挑戰(zhàn)是如何能夠應對客戶新的業(yè)務需求發(fā)展，比如，如何在云服務、云產(chǎn)品這個領域滿足客戶的要求。我相信在座的各位領導也遇到過此種挑戰(zhàn)。今天整個AI大模型對相關產(chǎn)業(yè)都帶來了一些變化。在這里，我想請余總介紹一下，站在你的角度，你們看到這帶來了哪些新的機會和挑戰(zhàn)？

余溢：我們公司注冊于今年5月，AI大模型早于公司出現(xiàn)，并對我們的發(fā)展路線造成了很大的影響。作為一家算力供應商，我們切身感受到了大模型浪潮帶來的市場方面算力需求的猛增。于公司而言，算力需求多多益善。

從機會角度來說，需求的增加促進了整個算力市場及行業(yè)上下游生態(tài)的發(fā)展。

從挑戰(zhàn)角度來說，第一個挑戰(zhàn)是對計算速度和性能的挑戰(zhàn)，大模型的出現(xiàn)，使得大家對算力的要求提高。例如像CPU計算這一類型的傳統(tǒng)算力，相對來說只能滿足基本需求?，F(xiàn)在大家對計算速度和性能有了更高的要求，這就對卡的配置提出了更高的標準。順便給在座的各位打一個硬廣，我們也提供高端算力和高端芯片，如果有興趣可以了解一下；第二個挑戰(zhàn)是從硬件到軟件的挑戰(zhàn)，高端芯片的昂貴價格直接對企業(yè)提出了更高的要求。從成本控制的角度考慮，企業(yè)需要權(quán)衡如何合理配置資源，包括不同類型的卡，用GPU和CPU的配比或者是否有更先進的互聯(lián)技術包括網(wǎng)絡帶寬設置、機房設置等等。

沈鷗：熊總，從您的角度出發(fā)，是如何看待其中的新機會的？

熊大鵬：大模型的出現(xiàn)確實讓存算一體有了更多的機會。因為存算一體主要解決兩個問題。一個是從架構(gòu)的角度來看，在相同的工藝和功耗條件下，裸算力確實比傳統(tǒng)架構(gòu)要高出10倍以上，這一點無論是從理論上還是工程實踐上都已經(jīng)得到了證實。第二個，在大模型時代，一個最大的問題就是數(shù)據(jù)搬運的帶寬不夠，無論是從外部搬到芯片內(nèi)部，還是芯片內(nèi)部之間的傳輸，以及芯片與芯片之間的連接等方面，都存在帶寬瓶頸。

所以，存算一體的優(yōu)勢在這種情況下就彰顯出來了。因為在存算一體AI芯片中，很多模型參數(shù)數(shù)據(jù)不需要搬運，它們本身就是芯片內(nèi)部的一部分。因此，存算一體的實際運算效率會比傳統(tǒng)架構(gòu)更好，甚至可能高出好幾倍。再加上其對裸算力的提升，可以說在大模型時代具有非常強的優(yōu)勢。

沈鷗：我也想問下孫總，剛剛我們談到了縮短存儲或者在CPU和GPU之間的連接以增加帶寬的問題。我們看到英偉達使用GPU和NVLink等技術，為其整體性能帶來了很大的提升。您怎么看這個問題，這給您的企業(yè)帶來了什么樣的機會呢？

孫唐：我們觀察到英偉達實際上完成了三件事情。第一個，英偉達集成了網(wǎng)絡、存儲和計算三種資源，收購了邁絡斯并做了片上的NVLink。第二個，英偉達與IBM聯(lián)合開發(fā)了BaM大型加速器存儲技術，相當于說GPU和存儲能夠直通。第三件事，他們還投資了一些以色列公司，以解決小數(shù)據(jù)的存儲和檢索加速問題，這主要是為了應對當前智算和超算領域中大模型的訓練問題。

大家可能都知道單張GPU卡的故障率只有萬分之幾，但在大規(guī)模使用千卡萬卡進行大模型訓練時，平均故障時間小于兩天。為了解決這個問題，目前引入了一種在超算中心中使用的DDN技術。這種技術可以通過不斷記錄、存儲快照，并在出現(xiàn)故障時以回款方式進行錯誤修復，從而確保大模型的效率。這種技術實際上帶來了存儲領域20倍以上的數(shù)據(jù)增長。

大家都知道最近六部委聯(lián)合發(fā)布了關于算力、存力共同發(fā)展的指導性意見，要求未來的智算中心30%以上的部分必須是全國產(chǎn)。為什么？這其實是為了解決算力、存力發(fā)展不平衡的問題。對于憶芯來說，這是一個巨大的機會。

首先，我們本身就是做高性能企業(yè)級存儲的，我們的目標是替代DDN這樣的超算中心中的存儲單柜。其次，我們在片上還內(nèi)置了一些數(shù)據(jù)庫和向量加速能力，這對整個智算中心來說具有巨大的價值。因此，從目前來看，我們的方案和產(chǎn)品在未來市場上有著良好的前景和預期。

沈鷗：我自己在實際項目中注意到DDN的存儲價格相當高昂。如果有非常好的國產(chǎn)替代產(chǎn)品和解決方案，我相信在國內(nèi)建立新的智算中心和大數(shù)據(jù)中心時，肯定會更加傾向于考慮使用國產(chǎn)的相關設備和技術能力。

我們剛剛談到了英偉達，其實英偉達除了硬件能力外，還有軟件方面的生態(tài)，這對整個業(yè)態(tài)構(gòu)成了巨大的挑戰(zhàn)。在國內(nèi)討論AI算力的時候，我們常常會提到是否能夠與CUDA對接，以及是否能夠與下方的多個開發(fā)平臺對接。下面我想繼續(xù)問一下孫總，從您的觀點來看，這種軟硬件的結(jié)合或者生態(tài)的結(jié)合，并不僅僅是談一個技術，而是涉及到整個生態(tài)建設。在這方面，您認為您的公司或者您個人來看，我們應該做些什么樣的工作呢？

孫唐：非常感謝您的提問，也讓我有機會給各位報告一下我的背景。我原先在AMD做GPU的，所以與國內(nèi)現(xiàn)有的這些GPU公司保持著相當多的溝通和協(xié)同合作。從這個角度來看，為什么CUDA生態(tài)能夠成功建立起來，是因為他們堅持了整整十年的投入。相對來說，如果國內(nèi)的GPU公司、網(wǎng)絡公司以及存儲公司想要與英偉達同臺競技的話，其實我們最主要的訴求應該是要進行能力協(xié)同。簡單來說，就像剛才提到的英偉達與IBM合作收購了邁絡斯，投資了POI Apps，都是為了構(gòu)建一個完整的生態(tài)鏈，以確保在市場上具備足夠的競爭力。

對于我們來說，關于CUDA生態(tài)，我們的第一個目標肯定是在不侵犯專利的前提下，實現(xiàn)生態(tài)的兼容。第二個則是需要針對國內(nèi)實際的大型模型現(xiàn)狀，確保數(shù)據(jù)的安全性、隱私性，以及符合當前網(wǎng)絡信息安全的要求。實現(xiàn)數(shù)據(jù)可用但不可見的一體化能力需要存儲和計算的共同協(xié)同合作。

在這方面我們已經(jīng)有了一些預先的布局和規(guī)劃，希望能夠為未來的國產(chǎn)大型模型和國產(chǎn)智能計算中心提供一個更具先進性、安全性和可靠性的能力基礎。當然，我們的最大訴求是希望將這些技術和解決方案變得更加便宜一些。謝謝大家。

2.國內(nèi)做生態(tài)配合，需要蟻群戰(zhàn)術

沈鷗：我認為現(xiàn)在變得便宜可能不是最緊急的，主要還是在國內(nèi)我們需要建立自己的完整軟件生態(tài)。其實前面一個圓桌討論中，我們聽到了很多關于開源社區(qū)的話題，我相信如果國內(nèi)有完善的開源生態(tài)和軟件生態(tài)，我們整個國內(nèi)的硬件體系將會有更好的發(fā)展。熊總，從您的角度看，你們企業(yè)如何看待與其他軟件公司或硬件公司進行生態(tài)配合的問題？有什么經(jīng)驗和心得可以與在座各位分享的嗎？”

熊大鵬：前面有很多專家談到了開源和開源社區(qū)，當然，我們做的話，肯定也是基于開源先去做。剛剛提到的CUDA問題，這是一個很有意思也很復雜的話題。我從兩個方面來談一下我的看法：

第一方面，對于大型模型來說，由于其泛化性能較好，這在一定程度上削弱了英偉達和CUDA在這一領域的生態(tài)墻。第二方面，走不同的技術路線，例如我們采用的存算一體技術路線，由于我們芯片架構(gòu)技術路線的特殊性，能夠?qū)崿F(xiàn)一鍵生成和一鍵遷移等功能。我們利用開源架構(gòu)，在上層能夠與CUDA兼容，這一點我相信相對容易實現(xiàn)。在編譯器層面，通過我們的一鍵生成工具，可以自動基于一些經(jīng)典算子生成優(yōu)化過的可執(zhí)行代碼。所以從這個角度來說，盡管我們不能完全推翻它的生態(tài)壁壘，但至少可以在它的生態(tài)墻上打一個洞，讓我們能夠有所獲取。

沈鷗：余總，貴司今年雖然剛剛成立，但已經(jīng)看到了很多異構(gòu)的情況，比如國產(chǎn)GPU。我知道現(xiàn)在有很多廠商也在從事這一領域的研究工作。站在您公司的角度，你們?nèi)绾慰朔@些技術難題，去解決所遇到的軟件生態(tài)和整體的適配工作呢？

余溢：關于異構(gòu)的話題，我有三點想說。

首先，我們與一些國產(chǎn)廠商共同探索過***異構(gòu)的問題。但在這些廠商中，只有少數(shù)的會積極地兼容適配CUDA的整個生態(tài)，以確保現(xiàn)有的能夠使用，這是非常重要的。說得直白一點，現(xiàn)在大部分的國產(chǎn)廠商，如果他們自己去開發(fā)自己的生態(tài)或軟件，可能很多軟件都不會用，研發(fā)人員也不會用，不知道該怎么用。所以首先得滿足這個需求；

其次，我們也知道現(xiàn)在有很多的廠商，比如華為昇騰，他們自建生態(tài)，我認為這對于整個行業(yè)的發(fā)展來說，是一個比較好的方向；

最后，我們會慢慢地走向國產(chǎn)自研的方向。我們發(fā)現(xiàn)了CPU雖然可以用，但它就是不好用，就是慢。在某些特定場景里，比如科學計算中，確實也會使用到CPU。所以我覺得我們也可以去探索一下CPU+GPU的方式。

善思開悟與中山大學聯(lián)合建立了一個AI創(chuàng)新賦能聯(lián)合實驗室，我們會有很多***的公司把他們的芯片給我們?nèi)プ鲂阅軠y試。我知道在場有一些可以合作的公司，做測試、做適配和優(yōu)化，我們能去做一些算法移植等等。我覺得這些都是很好的一些探索，未來肯定還是很有突破的空間的。

沈鷗：所謂的突破，我相信這不僅僅是企業(yè)的努力，昨天我正好參加了一個政府的算力中心的開業(yè)，談到政府其實也在扶持國產(chǎn)的很多芯片和廠商，要一起去打造這個生態(tài)。但是我們在與他們交流的時候，也會看到一個問題，在算力領域要彎道超車，其實離不開芯片設計的行業(yè)。我們看到美國與中國的競爭中，還有CAD的設計、很多的設計軟件以及整個的IP。剛才也聽到了這是芯片設計的一個基石。

國內(nèi)整個IP國產(chǎn)化率可能相對還比較低。我們應該怎么去做這塊的創(chuàng)新和加速呢？時博士，從你們的角度來說，您認為我們應該在哪些地方努力去做一些創(chuàng)新和突破？對你們企業(yè)來說，在這個領域要怎樣去滿足今天大模型和AI算力帶來的一些新需求呢？

時昕：您提的問題真的非常好，讓我有很多話想說，但可能有些零散。首先，您提到了IP作為芯片設計的基石。我想先分享一下半導體行業(yè)協(xié)會的數(shù)據(jù)。在中國，只有大約3%的企業(yè)規(guī)模是超過500人的。但看看國際企業(yè)，無論是NVIDIA、高通等，他們的員工規(guī)模都是幾萬人。因此，我個人的結(jié)論是，中國的企業(yè)或芯片設計企業(yè)對于IP的依賴性可能會更強。像NVIDIA、高通這樣的公司，他們的員工規(guī)模要大很多倍，而且已經(jīng)存在了很多年，所以他們有很多自己的積累。

在中國很多小一點的企業(yè)，大概有超過90%的企業(yè)員工人數(shù)在200人以下。他們要想快速推出一個產(chǎn)品，可能對IP的依賴性會更強。這還只是硬件方面。在軟件方面，如果是處理器的話，無論是NVIDIA還是高通，他們其實有更多的工程師是做軟件的。包括NVIDIA的創(chuàng)始人，他曾經(jīng)兩次說過，一次說NVIDIA是一家軟件公司，后來又改口說NVIDIA是一家AI公司。

在這些處理器公司里，你會發(fā)現(xiàn)他們的軟件工程師數(shù)量也是非常多的，包括CUDA生態(tài)為什么做得這么好，是因為他們早期可能有上千的軟件工程師寫CUDA相關的底層庫，到現(xiàn)在每年有幾千個軟件工程師投入。這方面會導致我們真想要突破這個生態(tài)的壟斷地位，我們需要做的工作還是非常多的。

在國內(nèi)，目前像華為這樣的公司有很多底層的人才，包括硬件和軟件方面。他們很有機會自建一套生態(tài)。但對于大多數(shù)的公司來說，只有幾百人的公司靠自己的力量其實是非常難的。要想做到這一點，我們可以采用開源、社區(qū)、聯(lián)盟等方式。我們可能用蟻群的戰(zhàn)術，一個500人的公司可能突破不了，但是如果我們有一百個500人的公司是不是就有5萬人了。當然這5萬人怎么能夠協(xié)調(diào)好就類似于一個芯片里面有1000個處理器核你需要一個NoC組織起來。NoC就是讓芯片里面的數(shù)百個核能夠協(xié)同工作的中心樞紐，能夠讓每個核心IP的價值疊加起來，協(xié)作起來。如果將一個高性能的SoC比喻成一個人，那么NoC就是這個人的血管網(wǎng)絡，重要性不言而喻。傳智驛芯可以提供業(yè)界最先進的NoC解決方案，為中國的高性能計算產(chǎn)品提供最優(yōu)質(zhì)的片上網(wǎng)絡通信。

曾克強：感謝主持人的提問。國內(nèi)要在AI大算力領域?qū)崿F(xiàn)彎道超車，芯片設計是不可缺少的一環(huán)，而芯片IP是芯片設計的基石。但國內(nèi)芯片在IP領域國產(chǎn)化率還是非常低，尤其在高性能、高價值的CPU和高速接口IP領域。例如，全球高性能的CPU主要由Arm公司壟斷，但近年來國際上興起了開源的RISC-V技術，國內(nèi)也有不少公司在做RISC-V的IP。而在高速接口IP方面，國際上主要由新思科技占據(jù)絕大部分市場份額，國內(nèi)在這塊還是非常薄弱的。

我在創(chuàng)立芯耀輝之前，在新思科技工作了21年，并擔任中國區(qū)副總裁。正是看到國內(nèi)這個薄弱環(huán)節(jié)，我們在2018、2019年開始籌劃，于2020年創(chuàng)立了芯耀輝，致力于解決國內(nèi)“卡脖子”技術。傳統(tǒng)的國內(nèi)友商在高速接口IP領域雖然有所嘗試，但產(chǎn)品比較單一、不完整，主要集中在40納米及以上的傳統(tǒng)工藝。而先進工藝的高速接口技術門檻相當高，需要針對先進工藝不斷升級迭代，同時緊跟協(xié)議標準的快速演進，如DDR3到DDR5、PCIe3、4到PCIe 5，不同的協(xié)議都要能夠快速演進，還要能針對不同外設實現(xiàn)良好的兼容性和可靠性。這需要整個團隊與下游應用廠商有十幾二十年的共同迭代產(chǎn)品量產(chǎn)打磨經(jīng)驗。芯耀輝的核心團隊來自新思、紫光展銳、華為海思以及高通等國際國內(nèi)頂尖大廠，積累了十幾二十年的相關經(jīng)驗。因此，我們在成立后的短短三年內(nèi)實現(xiàn)了國內(nèi)最先進工藝的線上全套主流接口IP的自研并推向市場。去年我們實現(xiàn)了上市上量，今年在高性能計算、人工智能、5G、汽車電子等各個領域都實現(xiàn)了全套接口IP的量產(chǎn)交付，幫助國內(nèi)解決“卡脖子”問題，也支持AI產(chǎn)業(yè)實現(xiàn)彎道超車。

沈鷗：我再問一個問題，你們談到了這種合作需要上下游十幾年甚至更長時間的合作。我想知道在這個領域里，是否有一些相應的新的標準需要重新適應今天整個AI大模型的要求？電子和軟件的結(jié)合是一個自然的過程，整體上一定會遵循一些標準。在標準方面，你們企業(yè)是否觀察到這個業(yè)態(tài)在中國自主的標準或設計上有一些工作要做？

曾克強：這個問題很好。IP，尤其是接口IP，是有國際標準的。我先講一下大模型對于接口IP帶來的機會和挑戰(zhàn)。首先，大模型對接口IP的第一個要求是更高的數(shù)據(jù)吞吐量、更復雜的接口和更多協(xié)議的支持。這需要我們在關鍵的協(xié)議標準上能夠達到最高性能。例如，傳統(tǒng)上，我們和大家都在使用的是DDR4，但目前國際上最新的標準已經(jīng)到了DDR5，要實現(xiàn)6.4G的最高速率。我們已經(jīng)是國內(nèi)第一家實現(xiàn)并交付這個速率的公司，并且已經(jīng)在國內(nèi)高性能計算領域的頭部客戶中量產(chǎn)使用。

PCIe外設上同樣也是，同樣需要達到最高速率標準，如PCIe5。雖然國際上最新的標準還沒有出來，但很快就會出來到PCIe6。雖然以前國內(nèi)在這塊比國外要滯后幾年，但由于大模型的出現(xiàn)，我們看到未來1-2年這個需求很快就會出來，我們也已經(jīng)開始研發(fā)下一代的PCIe6，這是一方面。

第二方面，大模型對于大算力有很大的需求，這需要的是更先進工藝的接口IP支持。這也是我剛剛提到的，我們傳統(tǒng)的國內(nèi)IP設計往往都是在28納米以上的成熟工藝，但我們已經(jīng)實現(xiàn)了國內(nèi)最先進的12、14納米工藝的最先進IP研發(fā)。

除此之外，我們在今年半導體協(xié)會廣州ICCAD上講到的，不僅是先進工藝上的實現(xiàn)，因為現(xiàn)在大家都知道，國內(nèi)的先進工藝實際上受到了一些國際政治的影響，我們能否在相對成熟的工藝上實現(xiàn)國際上下一代工藝的性能，這個也是很考驗技術的。目前來說，我們的DDR5就是在國內(nèi)12納米的工藝上實現(xiàn)了6.4G的吞吐最高性能速率，而在這個速率上，國際上所有頭部廠商都是在下一個工藝節(jié)點7納米上實現(xiàn)的，所以這個需要有新的技術。

第三點是大模型對于算力的需求。今天大家都看到了出臺的各種限制措施，國內(nèi)的算力在最新的芯片密度上受到一定程度的制約。而且另一方面也是摩爾定律失效以后進入后摩爾時代，實際上通過工藝得到性能提升的效能已經(jīng)逐漸減弱了，這個更需要我們通過新興的技術路徑，通過Chiplet異構(gòu)集成去實現(xiàn)算力堆疊，而Chiplet技術落地最核心的就是需要片間互連。如何把不同的原來一個完整的SoC的芯片根據(jù)不同的功能、不同的工藝需求劃分成不同的芯片Die，然后用不同的工藝生產(chǎn)把他們再連接起來。其實，最核心的就是芯片Die和Die之間的互聯(lián)，這也是您剛提到國內(nèi)有沒有最新的標準。

國際上最新的標準叫UCIe，我們是國內(nèi)首批加入UCIe組織的，但我們也知道國際的標準往往需要的產(chǎn)業(yè)鏈是根據(jù)國外的技術生態(tài)實現(xiàn)的。我們國內(nèi)的一些生態(tài)鏈和這個還有差距，如何做自己的標準是要符合國內(nèi)的生態(tài)來做的。

在中國，我們積極參與首個Chiplet原生產(chǎn)業(yè)聯(lián)盟，并成為主要的貢獻單位之一，參與并制定了相關標準。不僅如此，我們還是國家科技部相關重點專項的唯一落地實施單位。針對片間互聯(lián)，我們成功實現(xiàn)了Die to Die UCIe標準，并同時兼容國內(nèi)標準。作為國內(nèi)首家成功研發(fā)出相應Die to Die IP并推向市場使用的公司，我們在推動行業(yè)發(fā)展方面走在了前列。傳統(tǒng)上，這一標準需要支持2.5D和3D的先進封裝技術，但由于國內(nèi)實際上在封裝方面還有一些滯后，我們將密切關注在保證性能的同時支持國內(nèi)產(chǎn)業(yè)鏈的發(fā)展。我們的技術可以不僅能夠支持2.5D的封裝，同時也與國內(nèi)傳統(tǒng)的封裝方式兼容，為大算力產(chǎn)業(yè)的進一步發(fā)展提供了強有力的支撐。

沈鷗：介紹非常完整。我們能了解到，新的標準正在使用今天所擁有的技術來支持一些新的技術和標準。我想問一下時總，鑒于今天我們所看到的算力需求的暴漲，從芯片設計的角度來看，你們的企業(yè)以及產(chǎn)業(yè)上下游的企業(yè)是如何應對這種暴漲的算力需求的？包括在汽車電子、智能駕駛等各個領域。我相信不僅僅是在大模型這樣的領域，其實AI在方方面面都有需求，那么你們是如何進行構(gòu)建的呢？

時昕：剛才余總提到了一個詞——“異構(gòu)”。這個詞也被其他幾位嘉賓提到過。我認為，多核和異構(gòu)將是未來的一個重大趨勢。曾總也提到過摩爾定律正在放緩，因此，要提升算力可能更多地需要依賴增加更多的核，甚至更多的硬件資源來承載這些核。同時，這些核并不都是完全相同的架構(gòu)，可能包括CPU、GPU、NPU等。如何協(xié)調(diào)它們，包括在軟件方面，可能是我們未來應對AI或自動駕駛帶來的算力需求的方向。

當然，還有一些更前沿的，例如熊博士和孫總正在研究的存內(nèi)或近存計算。雖然目前這些技術可能還稍微前沿了一點，但在某些特定的細分場景中，它們具有非常好的優(yōu)勢。而目前基于處理器的方式，無論是CPU還是GPU，可能在通用性和適配性方面會稍微好一些。將基于邏輯的矩陣運算的核與近存或存內(nèi)計算結(jié)合起來，也是一種異構(gòu)的概念。在駕駛中，對于某些特定的算子，我們可以使用非常高效的方式進行計算，實現(xiàn)低性能、低功耗。對于其他不太適合內(nèi)存計算的場景，我們還是可以使用傳統(tǒng)的方式來進行計算。這種分工可能是未來的一種方式。

3.GPU不是為AI而生的

沈鷗：相當于是在用不同的芯片適應不同的場景，以實現(xiàn)芯片利用的最大化。今年我們都在討論算力，算力其實就是一種服務。在整個算力服務的層面上，為什么大家都在爭奪GPU資源呢？因為前面論壇的嘉賓也提到了，沒有算力，我們只能去租用一些相應的算力。在國內(nèi)的西北地區(qū)，有很多算力中心的建設。這些算力中心的建設其實是國家“十四五”規(guī)劃的一部分，包括國家在談到2035年的一些計劃制訂時，都會把算力、整個深度計算視為國家數(shù)字經(jīng)濟發(fā)展中非常重要的一個部分。

所以，我想和熊總討論一個問題，在整個算力服務中，作為芯片制造商，應該如何服務于整個算力服務？你們?nèi)绾文軌驅(qū)⑦@一塊打通？或者說如何讓國產(chǎn)的算力與你們的場景更好地結(jié)合呢？

熊大鵬：我想補充一點，前面曾總講得很好，片間互聯(lián)等方面確實是一個短板，因為這方面的性能直接影響到整個系統(tǒng)的性能。時總也提到了異構(gòu)，我覺得他說得非常對。首先，GPU肯定是AI算力的一個基礎，這樣一個系統(tǒng)不可避免地會是一個異構(gòu)的系統(tǒng)。盡管我們現(xiàn)在做的是存算一體，但我們最終做的是存算一體超異構(gòu)芯片。這個設計其實相當復雜，因為它涉及到好幾個異構(gòu)融合在一起。從芯片設計的角度來說，我們采用的是統(tǒng)一的設計，從指令集開始就把這幾個異構(gòu)統(tǒng)一在一起來設計，希望最終做出來的芯片在整體性能、可編程性等方面都能做得比較好。

另外，關于GPU對中國的算力，我有一個不一定對的觀點，但我始終有這個疑慮。目前的GPU并不是為大模型而誕生的，甚至最初都不是為了AI而生的，而是為了圖形渲染。因此，從技術根上來說，它并不是特別適合大模型的AI計算。從這個意義上來說，將來一定會有更好的技術、更好的解決方案在大模型和AI上解決得更好。這些新技術出來后，其能效比和性能肯定會比現(xiàn)有的技術要好很多。我們現(xiàn)在建設比如A100、H100這樣的智算中心，將來如果和新的技術比起來真的差很多怎么辦？今天投下去的這么多錢怎么辦？

沈鷗：這是一個非常實際的問題。我相信很重要的一點是，大家都看到了未來。我們今天之所以投入這么多資金，是因為我們看到了整個大模型和AI將成為我們未來所有工作和應用的基礎?？赡苣?a href="http://srfitnesspt.com/v/tag/107/" target="_blank">手機上的應用背后都需要一個大模型的支持，才能讓它們變得更加智能。我也想請教一下各位嘉賓，從你們的角度來看，今天可能只是一個起點，那么在接下來的3-5年里，你們?nèi)绾慰创鼳I和大模型對你們所處行業(yè)的挑戰(zhàn)和機遇？3-5年后會是一個什么樣的情況？

孫唐：我這邊其實有兩個觀點。目前大模型的落地非常熱門，但就像熊總所說，能不能賺到錢現(xiàn)在是一個問號。第一個挑戰(zhàn)肯定是資源匹配度的問題，誰來買單。這里的機遇非常大，我與熊總的觀點一致，未來可能不是GPU的市場，而是存算融合、存算一體，可能會有更大的空間讓大家賺到錢。

它會落地的方向可以分為兩塊來看，第一塊是目前海量的推理市場，即針對應用的市場，如何降本增效。第二塊是目前剛剛興起的具身智能，也就是機器人這個領域。因為在中國，具身智能未來應該有很大的潛在發(fā)揮空間。未來這個大模型是否能進入大家的手機、進入大家的家用機器人，可能是一個非常有意義的場景。我們也會在這塊進行學習和研究，看是否能在這個市場上做更多的拓展。

沈鷗：我個人觀察到，比如國家在11月發(fā)布的《人形機器人創(chuàng)新發(fā)展指導意見》中提到，人形機器人將變得更智能，其背后有類似的大模型部分。再回到今天的主題元宇宙，元宇宙里的虛擬世界是否背后有AI模型的支撐，讓元宇宙中的虛擬世界變得更加智能。我也想請教一下余總，你們公司剛剛成立，為什么有勇氣介入這樣一個新的市場？在接下來的3-5年里，你們?nèi)绾慰创约旱臋C會或者說整個大模型的機會在哪里？

余溢：首先，我個人認為這股“大模型熱”可能會在明年有所冷卻。我曾經(jīng)在大廠里工作，所以我明白，之所以現(xiàn)在算力這么火，是因為大廠都在使用自己的GPU算力。而外面的人只看到了熱鬧的表象就開始哄搶算力，逐漸才發(fā)現(xiàn)事實上的供給并不多，還要面臨貿(mào)易禁運的問題。但從長期看來，我對此持樂觀態(tài)度，有了這樣的一個熱點，能吸引更多的公司一起努力，在未來實現(xiàn)生態(tài)的搭建和完善。我相信隨著生態(tài)的發(fā)展，下游會出現(xiàn)實際的應用。

其次，從目前來看，大眾對于大語言模型的使用更多偏向娛樂化。雖然有過如前面嘉賓提到的生物醫(yī)藥領域、三甲醫(yī)院醫(yī)生問診等很多領域的嘗試，但實際上這些應用中存在著很多實際問題，如數(shù)據(jù)隱私、醫(yī)療責任、安全問題、法務合規(guī)等。這些問題在當前看起來很美好的過程中，是必須要克服的。但我堅信，長期來看在各個細分領域和下游行業(yè)中，會有人克服這些困難，實現(xiàn)真正的落地并產(chǎn)生商業(yè)價值。

最后，我認為整個AIGC行業(yè)、算力行業(yè)最終肯定會走向國產(chǎn)化。我們需要解決“卡脖子”的問題，發(fā)展自己的國產(chǎn)生態(tài)和硬件建設。因此，我們應該由整個行業(yè)上下游的所有公司、軟件和硬件等生態(tài)共同努力，完成這項對國家發(fā)展具有重要意義的使命。

沈鷗：因為時間原因，我們不能再繼續(xù)討論了。如果大家看到今年國家發(fā)布的《中國綜合算力評價白皮書(2023)》，就會了解到中國整體算力增長差不多是20%多。隨著中國包括綠電、東數(shù)西算、國家算網(wǎng)等全部建立起來以后，以AI為業(yè)務先導、需求先導、算力中心為基礎的整體國家算力平臺一定能夠更好地服務于中國整個人工智能產(chǎn)業(yè)鏈的發(fā)展。這其中離不開各位公司，包括今天所提到的從IP到芯片到整個算力平臺方方面面、一環(huán)扣一環(huán)的需求，而且都要滿足中國國產(chǎn)化的各種要求。由于時間原因，我們就不再展開了。

曾克強：我其實想說一句話。您問到關于大算力的問題，大家都覺得現(xiàn)在是追熱點，不管是做AI還是大算力、大模型，真正規(guī)?；纳虡I(yè)落地還比較少，大家都覺得好像隔了一層，本來想做To B的，后來卻做成了To G的行業(yè)。

我有兩個觀點想和大家分享一下，第一個觀點是，大家都在追求算力的堆疊，但從當前的技術發(fā)展和國際形勢來看，我認為很快就會出現(xiàn)一個瓶頸，這個瓶頸很有可能很快從計算轉(zhuǎn)向互聯(lián)，反而互聯(lián)會成為更緊迫的瓶頸。第二個觀點是，我們現(xiàn)在處于經(jīng)濟下行和半導體產(chǎn)業(yè)下行的周期中，在下行的周期中，沒法再盲目追求熱點。大家應該思考什么是行業(yè)真正需要的。

剛剛熊總提到的現(xiàn)在的GPU并不是從原生就能解決問題的，但我們要考慮什么是這個產(chǎn)業(yè)從長遠來說真正需要的，并去做產(chǎn)業(yè)真正需要的事情，而不是當前熱點的事情。我也相信在這個下行的周期里面，每個企業(yè)都專注于做好本質(zhì)的東西，修煉好內(nèi)功，做好產(chǎn)品，一定會迎來未來大模型真正繁榮的時候。

沈鷗：我非常同意曾總說的觀點，我們要做好自己的產(chǎn)品，把自己的工作做得更扎實，才能讓每個企業(yè)在整個發(fā)展競爭激烈的環(huán)境中立足。

曾克強：所以這也是我們芯耀輝專注于做好高速接口IP的原因，我們希望為大家提供最好的IP賦能國產(chǎn)半導體互聯(lián)技術。

沈鷗：也謝謝各位嘉賓和現(xiàn)場的各位聽眾的參與和支持，謝謝大家！