根據(jù)CodeRabbit最新發(fā)布的報(bào)告，AI代碼生成技術(shù)在完全主導(dǎo)軟件開發(fā)之前，仍有一些問題需要解決。與人類編寫的代碼相比，AI生成的代碼在拉取請求分析中發(fā)現(xiàn)的問題數(shù)量增加了1.7倍。

AI編程助手已成為軟件開發(fā)工作流程的標(biāo)準(zhǔn)組成部分，但開發(fā)人員對此提出了警告。平均而言，AI生成代碼的拉取請求每次發(fā)現(xiàn)10.83個(gè)問題，而人類編寫的代碼平均只有6.45個(gè)問題。AI協(xié)作編寫代碼的拉取請求也顯示出問題數(shù)量的更高峰值。

根據(jù)CodeRabbit的分析，分布情況更為重要：AI生成的拉取請求具有更長的尾部分布，這意味著它們產(chǎn)生了更多"繁忙"的審查。AI拉取請求在多個(gè)方面都更難審查。采用AI編程工具的團(tuán)隊(duì)?wèi)?yīng)該預(yù)期更高的差異性和更頻繁的拉取請求問題峰值，需要更深入的審查。

總體而言，AI生成代碼的拉取請求中發(fā)現(xiàn)的問題主要與邏輯和正確性相關(guān)。但在包括正確性、可維護(hù)性、安全性和性能在內(nèi)的每個(gè)主要類別中，AI協(xié)作編寫的代碼始終比僅由人類生成的代碼產(chǎn)生更多問題。

12月17日發(fā)布的報(bào)告中，CodeRabbit分析了470個(gè)開源GitHub拉取請求，其中包括320個(gè)AI協(xié)作編寫的拉取請求和150個(gè)可能僅由人類生成的請求。報(bào)告結(jié)果表明："AI加速了輸出，但也放大了某些類別的錯(cuò)誤。"

報(bào)告還發(fā)現(xiàn)，AI協(xié)作編寫的拉取請求中安全問題持續(xù)增加。雖然注意到的漏洞中沒有一個(gè)是AI生成代碼獨(dú)有的，但它們出現(xiàn)的頻率明顯更高，增加了AI輔助開發(fā)的整體風(fēng)險(xiǎn)。AI會犯危險(xiǎn)的安全錯(cuò)誤，開發(fā)團(tuán)隊(duì)必須更好地發(fā)現(xiàn)這些錯(cuò)誤。

不過，AI也有一些優(yōu)勢。拼寫錯(cuò)誤在人類編寫的代碼中幾乎是AI代碼的兩倍（18.92對10.77）。這可能是因?yàn)槿祟惓绦騿T編寫了更多的內(nèi)聯(lián)文本和注釋，或者僅僅是因?yàn)殚_發(fā)人員"拼寫不好"?？蓽y試性問題在人類代碼中也出現(xiàn)得更頻繁（23.65對17.85）。

盡管如此，整體研究結(jié)果表明，隨著AI生成代碼成為工作流程的標(biāo)準(zhǔn)部分，需要建立防護(hù)措施。應(yīng)該預(yù)先提供項(xiàng)目特定的上下文，讓模型訪問約束條件，如不變量、配置模式和架構(gòu)規(guī)則。為了減少可讀性、格式化和命名方面的問題，應(yīng)該應(yīng)用嚴(yán)格的CI規(guī)則。對于正確性，開發(fā)人員應(yīng)該要求對任何重要的控制流進(jìn)行合并前測試。

其他發(fā)現(xiàn)包括：

嚴(yán)重性隨著AI的使用而升級，出現(xiàn)更多關(guān)鍵和重大問題。AI引入的命名不一致性增加了近兩倍，經(jīng)常出現(xiàn)不清晰的命名、術(shù)語不匹配和通用標(biāo)識符。AI代碼"看起來正確"，但經(jīng)常違反本地習(xí)慣用法或結(jié)構(gòu)。AI生成的代碼經(jīng)常創(chuàng)建與實(shí)際宕機(jī)相關(guān)的問題。性能回歸雖然罕見，但主要由AI驅(qū)動(dòng)。錯(cuò)誤的排序、錯(cuò)誤的依賴流或并發(fā)原語的誤用在AI拉取請求中出現(xiàn)得更頻繁。格式化問題在AI拉取請求中的出現(xiàn)頻率是人類代碼的2.66倍。

Q&A

Q1：AI生成的代碼比人類代碼產(chǎn)生多少倍的問題？

A：根據(jù)CodeRabbit的報(bào)告，AI生成的代碼在拉取請求分析中發(fā)現(xiàn)的問題數(shù)量是人類編寫代碼的1.7倍。具體來說，AI生成代碼的拉取請求平均發(fā)現(xiàn)10.83個(gè)問題，而人類編寫的代碼平均只有6.45個(gè)問題。

Q2：AI編程助手在哪些方面表現(xiàn)比人類更好？

A：AI在某些方面確實(shí)有優(yōu)勢。拼寫錯(cuò)誤在人類編寫的代碼中幾乎是AI代碼的兩倍（18.92對10.77），可測試性問題在人類代碼中也出現(xiàn)得更頻繁（23.65對17.85）。這可能是因?yàn)槿祟惓绦騿T編寫了更多的內(nèi)聯(lián)文本和注釋。

Q3：使用AI編程工具的團(tuán)隊(duì)?wèi)?yīng)該采取哪些防護(hù)措施？

A：團(tuán)隊(duì)?wèi)?yīng)該預(yù)先提供項(xiàng)目特定的上下文，讓模型訪問約束條件如不變量、配置模式和架構(gòu)規(guī)則；應(yīng)用嚴(yán)格的CI規(guī)則來減少可讀性和格式化問題；要求對重要控制流進(jìn)行合并前測試；建立安全默認(rèn)設(shè)置；采用AI感知的拉取請求檢查清單；使用第三方代碼審查工具。