浪潮信息劉軍：智算力系統(tǒng)創(chuàng)新 加速生成式AI產(chǎn)業(yè)發(fā)展

北京2023年12月6日/美通社/ --11月29日，在北京舉行的2023人工智能計算大會(AICC)上，浪潮信息高級副總裁劉軍在主題演講《智算力系統(tǒng)創(chuàng)新 加速生成式AI產(chǎn)業(yè)發(fā)展》中分享了浪潮信息對于智算力系統(tǒng)創(chuàng)新和AI產(chǎn)業(yè)發(fā)展的思考。

以下為演講實錄整理

當(dāng)前，生成式人工智能和大模型推動算力需求高速增長，如何通過智算力系統(tǒng)來更好地支撐AI創(chuàng)新與應(yīng)用，已經(jīng)成為智算產(chǎn)業(yè)的關(guān)鍵。應(yīng)對生成式AI的發(fā)展和挑戰(zhàn)，應(yīng)該從算力系統(tǒng)、AI軟件基礎(chǔ)設(shè)施（AI Infra）、算法模型和產(chǎn)業(yè)生態(tài)4個方面來進行綜合考量，從而加速智能產(chǎn)業(yè)的落地。

智算系統(tǒng)創(chuàng)新，解決生成式AI的算力挑戰(zhàn)

在算力系統(tǒng)層面，生成式人工智能面臨的挑戰(zhàn)主要來自計算、數(shù)據(jù)和互聯(lián)三個方面：

在計算層面，算力多元化趨勢愈發(fā)明顯，導(dǎo)致AI算力系統(tǒng)開發(fā)適配周期長、定制開發(fā)投入大、業(yè)務(wù)遷移時間久。此外，大模型訓(xùn)練對算力規(guī)模要求高，在單芯片算力有限的情況下，必須通過構(gòu)建更大規(guī)模的集群來獲得性能的擴展。

在數(shù)據(jù)層面，大模型從文本、圖片等單模態(tài)向多模態(tài)、跨模態(tài)演進，訓(xùn)練的數(shù)據(jù)集達(dá)到TB級甚至PB級，且不同作業(yè)階段對于數(shù)據(jù)存儲的要求呈現(xiàn)多元化趨勢。

在互聯(lián)層面，傳統(tǒng)RoCE網(wǎng)絡(luò)因ECMP哈希不均導(dǎo)致40%以上的網(wǎng)絡(luò)帶寬被浪費，且尾時延高導(dǎo)致網(wǎng)絡(luò)通信時間占比訓(xùn)練時間高達(dá)40%，極大降低了計算效率。同時，網(wǎng)絡(luò)是集群共享資源，當(dāng)集群規(guī)模達(dá)到一定量級后，網(wǎng)絡(luò)性能波動會影響到所有計算資源的利用率，網(wǎng)絡(luò)故障會影響數(shù)十個甚至更多加速卡的連通性。

面對三重挑戰(zhàn)，浪潮信息總結(jié)了多年產(chǎn)品研發(fā)和用戶服務(wù)經(jīng)驗，提出三部分解決之道。

在計算方面，首先要針對多元算力，以統(tǒng)一的系統(tǒng)架構(gòu)和統(tǒng)一的接口規(guī)范來兼容各類AI加速卡，保障芯片算力的高效釋放。浪潮信息早在2018年就著力開放多元的AI算力平臺設(shè)計，最新發(fā)布的G7多元算力平臺是業(yè)界唯一可以同時兼容SXM、OAI加速卡并實現(xiàn)8卡全互聯(lián)、16卡全互聯(lián)和混合立方互聯(lián)系統(tǒng)拓?fù)涞腁I算力平臺。為了保障更大規(guī)模的節(jié)點擴展性能，浪潮信息研制的開放加速計算架構(gòu)支持PCIe、RocE和多種私有互聯(lián)協(xié)議，節(jié)點內(nèi)和跨節(jié)點卡間互聯(lián)最大達(dá)到896 GB/s，跨節(jié)點通過免網(wǎng)卡RDMA實現(xiàn)高效擴展，集群性能加速比超過90%。

在數(shù)據(jù)存儲方面，針對大模型的數(shù)據(jù)存儲需求，浪潮信息在業(yè)界率先實現(xiàn)了一套集群系統(tǒng)同時支持文件、對象、大數(shù)據(jù)等多種非結(jié)構(gòu)化協(xié)議的無損互訪，同時支持閃存、磁盤、磁帶、光盤四類存儲介質(zhì)，并支持?jǐn)?shù)據(jù)全生命周期熱、溫、冷、冰四級存儲管理，以一套存儲架構(gòu)支持一個數(shù)據(jù)中心，真正實現(xiàn)了數(shù)據(jù)融合、管理融合。

在網(wǎng)絡(luò)互聯(lián)方面，浪潮信息專為生成式AI計算場景發(fā)布旗艦51.2T高性能交換機，為企業(yè)級智算網(wǎng)絡(luò)提供高吞吐、高可擴展、高可靠的智算網(wǎng)絡(luò)產(chǎn)品及方案，解決了傳統(tǒng)RoCE方案普遍存在的有效帶寬低、尾時延高、故障收斂慢等問題，將大模型訓(xùn)練性能提升38%以上，性能接近InfiniBand，助力AI用戶高效釋放大模型生產(chǎn)力。

AI Infra全棧優(yōu)化：釋放多元算力、提升大模型算力效率

大模型算法開發(fā)的鏈條冗長，這意味著需要諸多的工程化工具支撐。因此，在算力系統(tǒng)外，AI軟件基礎(chǔ)設(shè)施（AI Infra）也亟需創(chuàng)新。

AIGC大模型開發(fā)是一項極其復(fù)雜的系統(tǒng)工程，即便解決了底層算力供給的問題，仍面臨建不了和用不好的問題。"建不好"是指構(gòu)建算力平臺不僅需要服務(wù)器、存儲、網(wǎng)絡(luò)等硬件集成,還需要考慮不同硬件和軟件之間的兼容性和版本選擇，確保驅(qū)動和工具的適配性和穩(wěn)定性；"用不好"則體現(xiàn)在算力平臺效率低、穩(wěn)定性不足、故障頻發(fā)等現(xiàn)實困擾。

為加速模型生產(chǎn)和落地應(yīng)用，浪潮信息在AI Infra層面開發(fā)了大模型智算軟件棧OGAI (Open GenAI Infra)。在算力部署方面，OGAI開源了業(yè)界首個AI算力集群系統(tǒng)環(huán)境部署方案PODsys；在大規(guī)模訓(xùn)練的長時保障方面，從算力調(diào)度平臺層實現(xiàn)了自動化斷點續(xù)訓(xùn)；在多元算力接入方面以標(biāo)準(zhǔn)化、模塊化接入方式穩(wěn)定接入超過40+芯片；在數(shù)據(jù)治理方面構(gòu)建了流程化、可自定義的數(shù)據(jù)清洗pipeline，有效縮短數(shù)據(jù)清洗時間、提升文本審核過濾準(zhǔn)確率；在計算效率優(yōu)化方面，通過對分布式并行算法的極致優(yōu)化，將千億參數(shù)模型的訓(xùn)練計算效率提升到54%；在多模型管理方面已經(jīng)支持了超過10個業(yè)界主流的開源大模型和元腦生態(tài)大模型，用實踐證明AI Infra全?；A(chǔ)軟件和工作流的創(chuàng)新是多元算力高效釋放、提升大模型算力效率的關(guān)鍵。

基礎(chǔ)大模型，生成式AI落地發(fā)展的核心支撐

當(dāng)前，大模型技術(shù)正在推動生成式人工智能產(chǎn)業(yè)迅猛發(fā)展，而基礎(chǔ)大模型的關(guān)鍵能力則是大模型在行業(yè)和應(yīng)用落地時能力表現(xiàn)的核心支撐。但是，基礎(chǔ)大模型在持續(xù)進化的過程中，依然面臨著數(shù)據(jù)、算法、算力等關(guān)鍵因素的挑戰(zhàn)與制約。

目前，受政策支持、算力水平提升、數(shù)據(jù)資源龐大以及科研實力增強等利好因素的推動，中國在基礎(chǔ)大模型方面取得一定成績，但仍需加大在基礎(chǔ)性技術(shù)方面的原創(chuàng)性突破，夯實底層模型和算法能力。

浪潮信息從實踐入手，加大模型結(jié)構(gòu)創(chuàng)新、高質(zhì)量數(shù)據(jù)準(zhǔn)備、高效算力利用投入，并將這些技術(shù)運用在了"源2.0"大模型上，在編程、推理、邏輯等方面展示了先進的能力。

在算法方面，"源2.0"提出并采用了一種新型的注意力算法結(jié)構(gòu)，有效提升了模型自然語言的表達(dá)能力與生成精度；在數(shù)據(jù)方面，"源2.0"在訓(xùn)練數(shù)據(jù)來源、數(shù)據(jù)增強和合成方法等方面進行了全面創(chuàng)新，最終增強模型數(shù)理邏輯能力；在算力方面，"源2.0"采用非均勻流水并行+優(yōu)化器參數(shù)并行+數(shù)據(jù)并行+ Loss計算分塊的策略，顯著降低大模型對于芯片間互聯(lián)帶寬的要求，讓模型訓(xùn)練在"條件有限"的算力規(guī)模下實現(xiàn)高效率工作。

源2.0作為千億級基礎(chǔ)大模型，在業(yè)界公開的評測上進行了代碼生成、數(shù)學(xué)問題求解、事實問答方面的能力測試，展示了較為先進的能力表現(xiàn)。為了滿足不同行業(yè)、不同場景的能力要求，浪潮信息全面開源"源2.0"全系列大模型，以最便捷的方式支持用戶建設(shè)自己的智能化產(chǎn)品與能力，結(jié)合行業(yè)特點進行框架、模型、數(shù)據(jù)的垂直整合，提升基礎(chǔ)大模型的準(zhǔn)確性和可用性。

生態(tài)聚進，聯(lián)合創(chuàng)新，加速AI應(yīng)用落地

有了強大的基礎(chǔ)大模型，還需要進一步深入應(yīng)用場景。將大模型的能力賦能到產(chǎn)業(yè)環(huán)節(jié)之中，需要多廠商的深度配合。面對生態(tài)復(fù)雜離散、產(chǎn)業(yè)AI落地困難的挑戰(zhàn)，浪潮信息提出元腦生態(tài)，聚合優(yōu)質(zhì)伙伴協(xié)同創(chuàng)新，通過"技術(shù)支持、方案聯(lián)合、平臺共享"實現(xiàn)不同廠商之間的優(yōu)勢互補。

目前，元腦生態(tài)以浪潮信息的AI算力平臺、AI資源平臺和AI算法平臺為支撐，已經(jīng)對接40多家芯片廠商，400+算法廠商，4000+系統(tǒng)集成商，通過多元的算力供給、全棧的AI Infra軟件棧、豐富的大模型經(jīng)驗，實現(xiàn)"百模"與"千行"的對接，助力千行百業(yè)加速生成式AI 產(chǎn)業(yè)創(chuàng)新，高效釋放生產(chǎn)力。

智算力是創(chuàng)新力，AIGC與數(shù)字經(jīng)濟、實體經(jīng)濟的深度融合，將會創(chuàng)造出更多顛覆性的社會價值、經(jīng)濟價值，而浪潮信息將秉持開放、共享、共建的發(fā)展理念，抓住AIGC市場機遇，共同推進人工智能落地。

審核編輯 黃宇