風(fēng)靡萬千軟件開發(fā)者：揭秘華為研發(fā)代碼大模型是如何實現(xiàn)的？

作者 | 陳泰紅

秉持“自己的降落傘，自己先跳”的原則，由公司裝備部門牽頭，攜手華為云PaaS作為基礎(chǔ)能力提供方，與公司各產(chǎn)品線共同研發(fā)面向產(chǎn)業(yè)的代碼大模型。在研發(fā)過程中，我們已取得初步成果，為了鞏固各產(chǎn)品線的代碼生成探索經(jīng)驗，我們將產(chǎn)品線研發(fā)成果迅速投入業(yè)務(wù)應(yīng)用。在此基礎(chǔ)上，我們總結(jié)了前期的方法和經(jīng)驗，期待更多產(chǎn)業(yè)的加入與交流，共同推動產(chǎn)業(yè)代碼大模型的演進(jìn)與推廣落地。

本文深入探討了當(dāng)前研發(fā)大模型在實際產(chǎn)品中代碼生成能力所面臨的挑戰(zhàn)，闡述了探索的總體思路、數(shù)據(jù)標(biāo)準(zhǔn)與語料層次、演進(jìn)策略以及模型訓(xùn)練方案設(shè)計。同時，還介紹了RAG方案設(shè)計以及某產(chǎn)品線Dopra在真實場景中的應(yīng)用，并總結(jié)了一套可快速復(fù)制的方法論。最后，對未來發(fā)展趨勢進(jìn)行了討論：研發(fā)大模型是否有可能取代程序員？

一、產(chǎn)業(yè)研發(fā)大模型面臨的挑戰(zhàn)

華為擁有超過10萬名代碼開發(fā)者，每天新增代碼行數(shù)達(dá)千萬級別。在這種情況下，提高開發(fā)過程的效率變得至關(guān)重要。研發(fā)過程涵蓋了需求理解、系統(tǒng)分析與設(shè)計、軟件開發(fā)（包括手工編寫代碼、測試用例、代碼檢視）、系統(tǒng)集成與驗證以及研發(fā)維護(hù)等環(huán)節(jié)。在整個研發(fā)過程中，編寫代碼的部分大約占據(jù)20%的比重。在人工智能大模型的時代，為了提升研發(fā)效率，利用大模型輔助生成代碼的需求已經(jīng)迫在眉睫。

在與產(chǎn)品線領(lǐng)域代碼專家進(jìn)行交流時，我們發(fā)現(xiàn)，由于產(chǎn)業(yè)數(shù)據(jù)未納入訓(xùn)練過程，開源代碼大模型在研發(fā)階段基本上無法發(fā)揮作用。在產(chǎn)業(yè)領(lǐng)域，我們面臨以下挑戰(zhàn)：

首先，信息通信技術(shù)（ICT）專業(yè)領(lǐng)域知識繁雜且多變，開源模型未系統(tǒng)學(xué)習(xí)過程領(lǐng)域知識和系統(tǒng)設(shè)計等方面，因此難以處理復(fù)雜任務(wù)。

其次，華為代碼倉庫中存在數(shù)十萬自定義的數(shù)據(jù)類型、函數(shù)API和變量引用，這些代碼的語義復(fù)雜性較高。由于公司部分產(chǎn)業(yè)導(dǎo)向代碼自注釋，結(jié)構(gòu)類型和成員、函數(shù)、變量缺少足夠的人工注釋。

此外，代碼具有單一性，不同產(chǎn)品之間的代碼關(guān)聯(lián)性較小，導(dǎo)致代碼語料數(shù)據(jù)泛化性不足。同時，文本與代碼關(guān)聯(lián)的語料數(shù)據(jù)在質(zhì)量和數(shù)量方面都存在不足。華為嵌入式系統(tǒng)主要基于C/C++開發(fā)，C/C++代碼具有固有特征，如頭文件機(jī)制使類型和函數(shù)邏輯實現(xiàn)分離，狀態(tài)空間更為龐大。

最后，代碼依賴鏈路較長，涉及Void *、指針、結(jié)構(gòu)體、宏定義、頭文件等多種元素。項目級的跨文件和多層嵌套導(dǎo)致上下文依賴鏈路較長，從而降低了代碼生成的準(zhǔn)確性。

根據(jù)實地考察的業(yè)務(wù)需求以及公司研發(fā)戰(zhàn)略目標(biāo)，我們將重點關(guān)注具有業(yè)務(wù)價值的場景。目前，研發(fā)大模型項目組正致力于攻克代碼輔助生成（C/C++/Java/Python）的難題，以構(gòu)建軟件領(lǐng)域的代碼大模型，從而推動軟件開發(fā)領(lǐng)域的新范式。

二、研發(fā)大模型構(gòu)建探索總體思路

為了提高研發(fā)迭代的反饋效率，華為云PaaS大模型團(tuán)隊制定了5項數(shù)據(jù)標(biāo)注與清洗規(guī)范、以及5個腳本工程項目。

圖1 研發(fā)大模型探索的總體思路

在整個流程中，從原始訓(xùn)練語料的準(zhǔn)備與清洗、SFT語料的提取，到訓(xùn)練、評估和部署的全自動化操作，華為云PaaS團(tuán)隊已經(jīng)制定了5個數(shù)據(jù)標(biāo)注和清洗規(guī)范。在訓(xùn)練流水線過程中，涉及到的5個腳本工具（包括清洗工具、SFT提取工具、訓(xùn)練腳本工程、部署腳本工程和IDE插件）也已經(jīng)得到了產(chǎn)品線業(yè)務(wù)專家的認(rèn)可和落實。這些措施顯著提高了大模型研發(fā)的效率。

三、那些數(shù)據(jù)應(yīng)該參與研發(fā)大模型的訓(xùn)練？

數(shù)據(jù)是大模型研發(fā)的基石，其質(zhì)量直接影響到模型的最高性能。若大模型未經(jīng)過專業(yè)領(lǐng)域數(shù)據(jù)的訓(xùn)練，就如同“文科生學(xué)理科”。針對產(chǎn)業(yè)特有的數(shù)據(jù)特征和挑戰(zhàn)，我們首先對產(chǎn)業(yè)數(shù)據(jù)的訓(xùn)練配方表進(jìn)行了梳理。明確了訓(xùn)練語料的范圍、目標(biāo)、場景、數(shù)據(jù)標(biāo)準(zhǔn)、處理規(guī)則、處理工具、試點產(chǎn)業(yè)以及質(zhì)量評價等相關(guān)信息。

圖2 研發(fā)大模型語料層次表

L0 開源階段

對 GitHub、Stack Overflow 等高質(zhì)量數(shù)據(jù)進(jìn)行清洗。

L1 RawCode 階段

清洗華為語料庫中的 30 億 tokens，涉及公司 10 余個產(chǎn)品線，以增強(qiáng)華為業(yè)務(wù)代碼的基礎(chǔ)能力。

L2 領(lǐng)域數(shù)據(jù)-SFT 階段

包括代碼地圖、項目級的跨文件信息以及工程規(guī)范。通過 SFT 指令微調(diào)，利用跨文件上下文信息和領(lǐng)域?qū)I(yè)知識，解決生成代碼中的幻覺問題。

RAG階段

RAG（Retrieval Augmented Generation）階段，在 IDE 項目文件中檢索跨文件信息；在向量數(shù)據(jù)庫中檢索 API 接口說明、工程規(guī)范信息。根據(jù) prompt 模板，將用戶的需求描述與上述檢索信息拼接成完整的 prompt，輸入給大模型。

由于 L1/L2 模型訓(xùn)練需要一定周期，業(yè)務(wù)實踐中項目組先使用 RAG 語料驗證效果，逐步探索 L2 SFT/L1 Raw Code 匹配任務(wù)，以提升模型的理解能力和研發(fā)效率。

單一的 Prompt 工程/RAG 在一定程度上可以讓模型接觸到專業(yè)領(lǐng)域知識，增強(qiáng)專業(yè)表達(dá)。然而，更為關(guān)鍵的是讓專業(yè)領(lǐng)域知識參與到模型訓(xùn)練過程中。

四、研發(fā)大模型整體演進(jìn)策略與方案設(shè)計

為了提高大模型研發(fā)的效率，我們將整個研發(fā)過程分為兩個階段進(jìn)行迭代和優(yōu)化：

數(shù)據(jù)準(zhǔn)備階段

首先，我們對各產(chǎn)品線的代碼倉庫進(jìn)行評估，挑選出高質(zhì)量的代碼倉庫。接著，根據(jù)華為云PaaS研發(fā)項目組制定的五項數(shù)據(jù)標(biāo)注和清洗規(guī)范對代碼進(jìn)行清洗。在《訓(xùn)練&推理語料層次表》的基礎(chǔ)上，構(gòu)建代碼地圖，并通過人工抽查與腳本校驗自動化執(zhí)行。最后，對訓(xùn)練數(shù)據(jù)進(jìn)行格式統(tǒng)一，生成訓(xùn)練集、客觀評測集和主觀評測集。

訓(xùn)練和評估階段

在該階段中，我們針對第一階段所準(zhǔn)備的訓(xùn)練數(shù)據(jù)，在ModelArts平臺上啟動訓(xùn)練任務(wù)。通過每隔x個epoch生成的檢查點（checkpoint）來進(jìn)行訓(xùn)練迭代。在此基礎(chǔ)上，我們進(jìn)行批量模型評估，并將模型部署在Alpha環(huán)境中，以便用戶進(jìn)行評估和使用。

在Alpha環(huán)境中，IDE插件的上下文提取和RAG檢索兩個過程被巧妙地隱藏起來。IDE需要在項目層面跨文件進(jìn)行上下文分析，從而提取當(dāng)前編輯區(qū)域用戶關(guān)注的跨文件上下文信息，并在prompt工程中進(jìn)行組裝。同時，RAG會根據(jù)用戶的輸入和意圖，檢索業(yè)務(wù)知識向量庫。在prompt工程中，上下文信息和業(yè)務(wù)知識將按照重要性進(jìn)行排序，然后送入代碼大模型進(jìn)行推理。生成的代碼經(jīng)過后處理后，最終呈現(xiàn)在IDE用戶界面上。

在研發(fā)過程中，數(shù)據(jù)準(zhǔn)備以及模型的訓(xùn)練和評估并非一蹴而就，而是需要經(jīng)過多次迭代和驗證。訓(xùn)練和評估過程中出現(xiàn)的現(xiàn)象和問題可以為數(shù)據(jù)迭代過程提供反饋。兩個階段緊密銜接，共同推進(jìn)以實現(xiàn)最終的優(yōu)化目標(biāo)。

圖3 研發(fā)大模型整體演進(jìn)策略與方案設(shè)計

五、RAG：研發(fā)大模型的最后“一公里”

模型訓(xùn)練在一定程度上緩解了領(lǐng)域知識匱乏的問題（例如，避免使用不存在的數(shù)據(jù)對象和API，從而減少編譯錯誤和運行錯誤）。然而，由于模型更新迭代周期較長且領(lǐng)域范圍廣泛，在實際產(chǎn)業(yè)應(yīng)用中，仍需結(jié)合領(lǐng)域相關(guān)的《xx使用手冊》、《xx白皮書》和《xx使用指南》等資料，以進(jìn)一步減輕代碼生成中的幻覺問題，提高知識的可追溯性和解釋性。

圖4 RAG整體框架圖

RAG的設(shè)計方案和實現(xiàn)形式多樣，我們的RAG方案主要關(guān)注自動化信息抽取和項目級上下文感知能力。

業(yè)務(wù)知識廣泛分布于HTML、PDF、DOC、Word等多種形式，且范圍廣泛且接口不統(tǒng)一。為解決這一問題，項目組結(jié)合知識圖譜和大模型技術(shù)，實現(xiàn)結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化信息的抽取，無需人工干預(yù)，即可生成低成本且高質(zhì)量的知識。

自動化信息抽取同時解決了知識增量刷新機(jī)制的問題：通過工程化方法，克服了LLM知識更新的難題。將業(yè)務(wù)領(lǐng)域知識、華為編程框架、工程規(guī)范等模型所不具備的能力與模型相協(xié)同。在項目級上下文感知方面，基于項目靜態(tài)結(jié)構(gòu)、倉庫演化歷史以及開發(fā)者實時行為，精確檢索與代碼生成任務(wù)最相關(guān)的項目上下文。

以某產(chǎn)品線Dopra開發(fā)場景為例，我們整理了開發(fā)手冊、線下文檔、社區(qū)平臺以及開發(fā)者經(jīng)驗等數(shù)據(jù)，匯總成Dopra開發(fā)的領(lǐng)域知識，并將這些知識向量化，存儲到向量數(shù)據(jù)庫中。當(dāng)用戶輸入需求任務(wù)后，通過RAG能力，我們可以獲取與該任務(wù)相關(guān)的開發(fā)經(jīng)驗信息。將這些信息通過“領(lǐng)域經(jīng)驗”提示模板輸入給大模型，從而顯著提高大模型輸出代碼的正確性。

圖5 RAG方案中使用的Prompt版本示例

六、研發(fā)大模型：是否會取代程序員？

許多程序員都關(guān)心一個問題：研發(fā)大模型是否會最終取代程序員？經(jīng)過調(diào)查，我們發(fā)現(xiàn)了一些有趣的觀點。

1. 程序員的需求各異。在對產(chǎn)品線專家進(jìn)行調(diào)研時，我們發(fā)現(xiàn)他們對業(yè)務(wù)非常熟悉，主要關(guān)注行級續(xù)寫或代碼塊續(xù)寫，目的是減少敲擊鍵盤的時間。他們期望模型能順應(yīng)開發(fā)思路給出提示，輔助編碼，而非完全替代開發(fā)。

2. AI編程具有很高的特殊性。

精確敏感性：一個字符的錯誤可能導(dǎo)致代碼不可用，需要人工干預(yù)。 遠(yuǎn)程敏感性：全局變量、父類信息、項目級跨文件信息等大量遠(yuǎn)程（非IDE插件打開的當(dāng)前文件信息）對語義影響很大。

庫敏感性：調(diào)用API庫的語句對函數(shù)的語義影響非常大。

3. AI目前的定位是助手，即開發(fā)人員的智能助手。AI助手并不會替代程序員的思考；它們擅長處理重復(fù)性高、機(jī)械性的任務(wù)，幫助程序員聚焦高價值點，提升專業(yè)方向的能力。然而，程序員仍需要掌握輔助駕駛的方向盤。

大模型的使用對程序員提出了更高的要求。簡單重復(fù)的工作可以交給大模型，但更高維度的工作，如代碼調(diào)試、通信鏈路聯(lián)調(diào)、項目級別的功能實現(xiàn)等，可能需要經(jīng)驗豐富的架構(gòu)師和資深程序員來把控。

總而言之，研發(fā)大模型將有效提升研發(fā)效率，使程序員能夠更加專注于深入思考，從而減少重復(fù)性和高頻率的工作負(fù)擔(dān)。

文章來自 PaaS技術(shù)創(chuàng)新Lab，PaaS技術(shù)創(chuàng)新Lab隸屬于華為云，致力于綜合利用軟件分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等技術(shù)，為軟件研發(fā)人員提供下一代智能研發(fā)工具服務(wù)的核心引擎和智慧大腦。我們將聚焦軟件工程領(lǐng)域硬核能力，不斷構(gòu)筑研發(fā)利器，持續(xù)交付高價值商業(yè)特性！加入我們，一起開創(chuàng)研發(fā)新“境界”！

詳情歡迎聯(lián)系:

mayuchi1@huawei.com；bianpan@huawei.com