商湯大裝置加速大模型能力下沉，構建智能計算新生態(tài)

大模型技術持續(xù)突破前沿，如何加速向產業(yè)“下沉”？

3月23~24日，2024全球開發(fā)者先鋒大會（GDC）在上海成功舉辦。期間，商湯科技大裝置執(zhí)行總監(jiān)成功，以及商湯科技大裝置產品總監(jiān)陳希受邀出席大會分論壇活動，圍繞大模型前沿開發(fā)、智能計算創(chuàng)新等話題分享前瞻洞見，共話智能生態(tài)構建。

以體系化基礎能力支撐，加速大模型向下演進

去年以來，生成式AI取得了飛躍式的發(fā)展，并不斷從單一模態(tài)向多模態(tài)演進。那么，還有哪些因素是大模型發(fā)展的關鍵？

在GDC 2024大模型前沿論壇上，商湯科技大裝置執(zhí)行總監(jiān)成功認為，大模型在很多場景下已經具備了強大的基礎能力，但在推理和規(guī)劃執(zhí)行能力方面還需要繼續(xù)突破。同時，效率和成本也是大模型發(fā)展的關鍵因素，需要以更低的成本、更快的速度觸達應用并形成閉環(huán)。

其一是多模態(tài)融合的挑戰(zhàn)，需要有效地將更多不同模態(tài)進行深度融合，提高模型對多模態(tài)數(shù)據(jù)的理解和處理能力。

其二是模型性能與成本平衡的挑戰(zhàn)，需要在模型小型化的同時盡可能保持原有模型性能，特別是滿足個人場景下端側模型、端云協(xié)同的應用需求。

此外，隨著大模型尺度的提升和訓練數(shù)據(jù)的增加，行業(yè)還需要一套高效的大規(guī)?；A設施，以提供包括高質量的數(shù)據(jù)管線、全面的評價體系、完善的工具鏈等體系化的底層支撐。

成功表示，SenseCore 商湯大裝置沉淀了整套大模型基礎設施能力，不僅可服務于眾多企業(yè)和科研院所的開發(fā)者，很快也會向個人開發(fā)者全面開放。

在AI基礎設施之上，SenseCore 商湯大裝置將推出全新升級的大模型服務平臺和開發(fā)者工具，并向社區(qū)免費提供千萬級算力補貼、萬億token大模型調用資源。 商湯希望通過大裝置激發(fā)整個社區(qū)的力量，攜手更多開發(fā)者共同探索大模型能力前沿，拓展技術邊界。

高效率、低成本智算基礎設施

賦能AI生產新范式

大模型時代，計算量、模型參數(shù)和數(shù)據(jù)集規(guī)模都在快速增長從而不斷推升模型的“智能”水平，其背后遵循的就是尺度定律。同時，隨著AI在各行各業(yè)的落地向深水區(qū)挺進，人工智能基礎設施化已成為必然趨勢。

在GDC 2024曙光智能計算開發(fā)者講壇上，商湯科技大裝置產品總監(jiān)陳希分享了依托SenseCore商湯大裝置，商湯科技在智能計算領域的探索和實踐。

第一，加速國產算力布局。通過與眾多國產算力廠商合作，商湯與上下游產業(yè)伙伴共同推動國產生態(tài)建設，完成多款芯片與框架適配，落地1500P國產算力集群，積極推進芯片評價標準和體系的完善，加速整個國產算力商業(yè)化進程。

第二，持續(xù)探索尺度定律邊界。隨著大模型的參數(shù)量朝向萬億以上級別激增，穩(wěn)定、高效的超大規(guī)模算力調度和訓推引擎成為核心基石。 SenseCore 商湯大裝置擁有萬卡規(guī)模異構算力池，可滿足萬億參數(shù)大模型訓推需求，實現(xiàn)分鐘級容錯以達成30天以上大規(guī)模長時間訓練不間斷。 另外在推理側，自研推理引擎在大語言、多模態(tài)模型性能表現(xiàn)提升2倍；通過訓練、微調、推理混部，資源利用率提升40%，為用戶提供極致性價比服務。

第三，建設面向開發(fā)者友好的AI基礎設施。面對愈發(fā)高頻次、高效率的模型迭代需求，SenseCore商湯大裝置擁有領先的AI 原生云算力產品體系，為客戶打造0門檻，一站式的極致開發(fā)體驗，縮短大模型開發(fā)周期。

根據(jù)國際知名調研機構弗若斯特沙利文（Frost & Sullivan）聯(lián)合頭豹研究院發(fā)布的《2023年中國AI開發(fā)平臺市場報告》，商湯大裝置成為AI開發(fā)平臺領軍者，市場綜合競爭表現(xiàn)國內第一，全球位居第二，僅次于亞馬遜云。 以人工智能大模型開發(fā)、生產、應用為核心，商湯致力于通過高效率、低成本、規(guī)?；南乱淮娜斯ぶ悄芑A設施與服務，深化AI算力生態(tài)建設，助力發(fā)展數(shù)字經濟產業(yè)全生態(tài)。

審核編輯：劉清