近日，浙江大學(xué)副教授胡星和團(tuán)隊(duì)開發(fā)出一款名為 CatCoder 的 AI 框架，它能夠讀懂一個(gè)完整的軟件項(xiàng)目，生成準(zhǔn)確、可用的代碼。在 Java 任務(wù)上，它在代碼編譯通過率和測試通過率上，比業(yè)內(nèi)表現(xiàn)突出的代表之一 RepoCoder 最高提升了 14.44% 和 17.35%。

同時(shí)，它擁有很強(qiáng)的通用性。該團(tuán)隊(duì)使用不同大小和不同類型的 AI 模型對(duì)其進(jìn)行測試，發(fā)現(xiàn)它能夠提升所有被測模型的性能。

圖 | 胡星（來源：胡星）

胡星告訴 DeepTech：“我們考慮到不同公司或團(tuán)隊(duì)使用的編程語言各異，因此選擇了兩種語言進(jìn)行驗(yàn)證：應(yīng)用廣泛的 Java 和較新但日益重要的 Rust。我們發(fā)現(xiàn)，即使對(duì)于 Rust 這種相對(duì)低資源（使用人群和訓(xùn)練數(shù)據(jù)較少）的語言，我們的方法也能生成高質(zhì)量的代碼?！?/p>

此外，尤其是對(duì)于那些比較小的模型，提醒效果更是尤為明顯，能夠幫助小模型彌補(bǔ)和大模型之間的差距。同時(shí)，它就好比給 AI 配置了一個(gè)超級(jí)助理，這位助理不僅懂得編程語法，而且熟悉所在項(xiàng)目的所有規(guī)定，比如哪些類可以調(diào)用、該怎么使用函數(shù)，這樣一來就能寫出既不會(huì)“迷路”也不會(huì)“犯錯(cuò)”的代碼。

胡星還表示：“我們的方法是可插拔的松耦合設(shè)計(jì)，不需要對(duì)大模型本身進(jìn)行訓(xùn)練。這意味著它可以靈活地與任何大模型或程序分析技術(shù)組合，適應(yīng)日新月異的大模型發(fā)展，避免了重復(fù)訓(xùn)練的高成本。

其次，它精準(zhǔn)解決了工業(yè)界的實(shí)際痛點(diǎn)——大模型通常不理解企業(yè)內(nèi)部的私有代碼庫和業(yè)務(wù)邏輯。通過引入本地上下文，我們的方法能讓大模型“讀懂”當(dāng)前代碼庫，生成更高質(zhì)量、更領(lǐng)域相關(guān)的代碼?！?/p>

（來源：https://arxiv.org/pdf/2406.03283）

解決代碼世界的尋路難題

在使用 AI 寫代碼時(shí)，此前人們所遇到的難題是：當(dāng)你正在參與開發(fā)一個(gè)大型游戲，代碼分散在成百上千個(gè)文件里。假如你需要添加“計(jì)算一個(gè)角色的跳躍軌跡”的新功能。

對(duì)于此前的 AI，即使經(jīng)過了大量訓(xùn)練可能也只知道物理公式，它并不知道在你這個(gè)特定項(xiàng)目中，“角色”這個(gè)對(duì)象應(yīng)該如何創(chuàng)建、它的坐標(biāo)屬性叫什么名字、或者“跳躍”這個(gè)動(dòng)作應(yīng)該調(diào)用哪個(gè)現(xiàn)成的函數(shù)。

CatCoder 的創(chuàng)新之處在于給 AI 提供了兩件關(guān)鍵工具：第一個(gè)工具是相似代碼雷達(dá)，能夠在相似項(xiàng)目里尋找功能或結(jié)構(gòu)相似的代碼作為范例；第二個(gè)工具是類型關(guān)系地圖，它能自動(dòng)分析并告訴 AI，在當(dāng)前的代碼環(huán)境中，有哪些類、接口、函數(shù)和屬性是可以直接使用的。

這就好比你要在一個(gè)巨大的圖書館里找資料，CatCoder 不僅可以幫你找到基本主題類似的書籍也就是相關(guān)的代碼，還可以直接給你一張圖書館的樓層索引和書籍關(guān)聯(lián)圖也就是類型上下文，從而讓你生成的代碼更加準(zhǔn)確和專業(yè)。

（來源：https://arxiv.org/pdf/2406.03283）

助力我國發(fā)展底層基礎(chǔ)軟件和工業(yè)軟件

在使用 CatCoder 的時(shí)候，主要分為三大步。

第一步是搜集線索也就是檢索相關(guān)代碼。CatCoder 首先會(huì)把整個(gè)項(xiàng)目所有的源代碼文件智能地切割成小塊。然后，它會(huì)根據(jù)你需要實(shí)現(xiàn)的功能描述，啟動(dòng)兩種搜索引擎。第一種是關(guān)鍵詞搜索，就像傳統(tǒng)搜索引擎一樣，可以匹配函數(shù)名和變量名等關(guān)鍵詞。第二種是語義搜索，其能理解代碼的含義，找到功能上相似的片段。然后，CatCoder 會(huì)把兩種搜索結(jié)果綜合起來，最初最相關(guān)的幾個(gè)代碼片段作為參考范例。

第二步是繪制地圖也就是提取類型上下文。這是 CatCoder 的獨(dú)門絕技。對(duì)于像 Java、Rust 這類靜態(tài)類型語言，CatCoder 會(huì)啟動(dòng)一個(gè)靜態(tài)分析器。這個(gè)分析器可以繪制出項(xiàng)目中所有類和接口之間的依賴關(guān)系圖。比如，假如你的新函數(shù)屬于“角色”類，那么分析器就能找出“角色”類能夠調(diào)用的所有方法，以及它關(guān)聯(lián)的其他類，并把它們的使用說明書整理出來。這張“地圖”的存在確保 AI 不會(huì)調(diào)用一個(gè)不存在的函數(shù)。

第三步是生成代碼。CatCoder 會(huì)將前兩步搜集到的參考范例和類型地圖打包，連帶你的任務(wù)描述一起形成一個(gè)超級(jí)詳細(xì)的提示，提交給背后的 AI 模型。AI 在這樣充分的上下文提示下，就能像一位熟悉項(xiàng)目的開發(fā)者一樣，生出既符合語法、又能完美融入現(xiàn)有項(xiàng)目、甚至能夠通過測試的代碼。

（來源：https://arxiv.org/pdf/2406.03283）

胡星總結(jié)稱：“由于我們的研究覆蓋了 Rust，而 Rust 多用于開發(fā)系統(tǒng)軟件，這對(duì)于我國發(fā)展底層基礎(chǔ)軟件和工業(yè)軟件具有積極意義，能幫助更快地生成高質(zhì)量的代碼?！?/p>

圖 | CatCoder logo（來源：胡星）

基于此成果，她有兩個(gè)后續(xù)計(jì)劃：一是進(jìn)一步探索“低資源”編程語言的代碼生成，即針對(duì)那些大模型訓(xùn)練數(shù)據(jù)覆蓋不足的語言（如 Ruby、Julia），提升其代碼生成質(zhì)量；二是研究“大小模型協(xié)同”的代碼生成，讓強(qiáng)大但昂貴的大模型指導(dǎo)輕量級(jí)小模型，使后者能在計(jì)算資源有限的實(shí)驗(yàn)室或中小企業(yè)中部署，提供優(yōu)質(zhì)的代碼生成服務(wù)。

參考資料：

相關(guān)論文 https://arxiv.org/pdf/2406.03283

運(yùn)營/排版：何晨龍