轉(zhuǎn)載來源 | 快手技術(shù)

概 況

在《采納率從 7.9% 到 54%：快手智能 Code Review 的三階進(jìn)化》中，快手研發(fā)效能團(tuán)隊(duì)重點(diǎn)分享了智能代碼審查系統(tǒng)如何通過質(zhì)量過濾與知識(shí)沉淀，將 AI 能力嵌入研發(fā)交付鏈路，使其從個(gè)人輔助工具升級(jí)為團(tuán)隊(duì)級(jí)的協(xié)作生產(chǎn)力。但要真正實(shí)現(xiàn)從“個(gè)人提效”到“組織效能”的閉環(huán)，僅優(yōu)化代碼合并前的質(zhì)量關(guān)口仍然不夠，AI 能力還需要進(jìn)一步向研發(fā)流程的前后環(huán)節(jié)延展。

在全面推進(jìn)「AI 研發(fā)范式升級(jí)」的進(jìn)程中，如何將個(gè)人 AI 工具的零散提效沉淀為組織級(jí)的交付能力，是當(dāng)前效能升級(jí)的核心命題。在需求評(píng)審之后、測試執(zhí)行之前，用例設(shè)計(jì)這一關(guān)鍵環(huán)節(jié)，正是影響交付質(zhì)量與效率的另一瓶頸。圍繞這一問題，我們構(gòu)建了智能用例生成系統(tǒng)，實(shí)現(xiàn)從手動(dòng)編寫到審核校驗(yàn)的模式轉(zhuǎn)變，這種轉(zhuǎn)變不僅釋放了測試人員的構(gòu)思?jí)毫Γ?AI 升級(jí)為流程中穩(wěn)定、可信的生產(chǎn)力環(huán)節(jié)。

以往寫用例全靠人工硬磨，效率低且難保全。為此，快手研發(fā)效能團(tuán)隊(duì)復(fù)盤了智能用例生成系統(tǒng)的演進(jìn)路徑，總結(jié)了快手智能用例生成系統(tǒng)從「Prompt 工程探索」到「Multi-Agent 人機(jī)協(xié)作」，再到「知識(shí)增強(qiáng)策略」，最終走向「自檢測 & 自進(jìn)化」的四階架構(gòu)演進(jìn)。

針對(duì)生成質(zhì)量不穩(wěn)、業(yè)務(wù)理解淺、維護(hù)成本高這三大難題，我們通過「人機(jī)協(xié)作」兜底質(zhì)量、「知識(shí)工程」對(duì)齊業(yè)務(wù)場景、「自檢測 & 自進(jìn)化」降低人工維護(hù)負(fù)擔(dān)。這套思路直接將用例生成率從 8% 拉升至 60%+，累計(jì)生成測試用例逾 120 萬條；該系統(tǒng)已經(jīng)成為全公司測試人員日常使用的標(biāo)準(zhǔn)化生產(chǎn)力工具，真正跑通了從個(gè)人 AI 提效到組織交付效能提升的閉環(huán)路徑。

背 景

在快手持續(xù)推進(jìn)研發(fā)效能提升的過程中，我們對(duì)測試階段各環(huán)節(jié)的耗時(shí)進(jìn)行了深入分析，測試用例設(shè)計(jì)階段（即測試用例編寫階段）在整個(gè)測試周期中占據(jù)了 13.69% 的時(shí)間成本，與用例執(zhí)行、回歸測試并列為耗時(shí)最高的三大環(huán)節(jié)；這一數(shù)據(jù)揭示了傳統(tǒng)測試模式下的瓶頸：測試人員將大量精力投入在重復(fù)性的用例撰寫工作中，而非聚焦于更具價(jià)值的測試策略設(shè)計(jì)和缺陷挖掘。

在用例設(shè)計(jì)提效方面，快手此前主要通過 KCase 平臺(tái)的用例編寫在線化能力進(jìn)行優(yōu)化。該方案實(shí)現(xiàn)了用例模板的規(guī)范化與標(biāo)準(zhǔn)化、多人協(xié)作編輯與版本管理、用例資產(chǎn)的結(jié)構(gòu)化沉淀。

然而，這種模式本質(zhì)上仍依賴人工逐條編寫，效率提升存在明顯天花板。面對(duì)快手業(yè)務(wù)的高速迭代和海量的功能需求，測試團(tuán)隊(duì)面臨以下挑戰(zhàn)：

2023 年以來，以 GPT 系列為代表的大語言模型（LLM）在代碼理解、邏輯推理和文本生成方面實(shí)現(xiàn)了質(zhì)的飛躍�？焓仲|(zhì)量工程團(tuán)隊(duì)敏銳捕捉到這一技術(shù)拐點(diǎn)，從 2024 年正式開始啟動(dòng) AI 生成手工測試用例的探索項(xiàng)目，目標(biāo)是將「人工編寫」升級(jí)為「AI 生成 + 人工審核」的全新模式，釋放測試人員的生產(chǎn)力。

效 果

快手智能用例生成系統(tǒng)從 V1.0 到 V4.0 的演進(jìn)歷程，涵蓋從初期的 Prompt 工程探索（生成率 8%），到 Multi-Agent 人機(jī)協(xié)作模式（生成率 12%），再到知識(shí)增強(qiáng)策略（生成率 35%），最終通過自檢測與自進(jìn)化實(shí)現(xiàn)突破性提升（生成率超 60%）。目前，該系統(tǒng)已在快手實(shí)現(xiàn)公司級(jí) 60% 以上的用例生成率，累計(jì)生成測試用例逾 120 萬條。

從 8% 到 60%+ 的生成率躍升，體現(xiàn)了快手技術(shù)理念的持續(xù)演進(jìn)：

1. V1.0：驗(yàn)證了“AI 能夠生成測試用例”的可行性

2. V2.0：確立了“人機(jī)協(xié)作生成優(yōu)于純自動(dòng)化生成”的實(shí)踐路徑

3. V3.0：揭示了“知識(shí)比算法更關(guān)鍵”的本質(zhì)規(guī)律

4. V4.0：實(shí)現(xiàn)了“AI 自我進(jìn)化”的能力突破

我們不再糾結(jié)于 AI 是否能夠替代人類，而是為“AI 如何賦能人類更高效工作”尋求解法。

實(shí)踐 1：從 V1.0 到 V4.0 的技術(shù)架構(gòu)演進(jìn)實(shí)踐

3.1 V1.0 版本：Prompt 工程探索階段

3.1.1 初版設(shè)計(jì)思路

• 核心假設(shè)：大模型已具備足夠的“測試常識(shí)”，只需通過精心設(shè)計(jì)的 Prompt 引導(dǎo)，即可生成高質(zhì)量測試用例。

• 技術(shù)方案：V1.0 單體生成流程

3.1.2 核心技術(shù)實(shí)現(xiàn)

• 技術(shù)架構(gòu)

• Prompt 結(jié)構(gòu)設(shè)計(jì)

• • 初版 Prompt 架構(gòu)

• 存在的問題

• 第一輪優(yōu)化：Few-shot Learning

• 問題分析：生成的用例質(zhì)量仍參差不齊，主要原因是模型對(duì)“高質(zhì)量用例”的標(biāo)準(zhǔn)理解不足。

• 解決方案：引入來自業(yè)務(wù)真實(shí)場景的高質(zhì)量測試用例作為樣本，提升模型輸出的一致性和專業(yè)性。

• Few-shot Prompt 架構(gòu)：

• 關(guān)鍵發(fā)現(xiàn)：

• • 提供 3 個(gè)樣例為性價(jià)比最優(yōu)選擇（邊際收益趨于平緩）

  • 樣例質(zhì)量遠(yuǎn)重于數(shù)量（1 個(gè)高質(zhì)量樣例 > 5 個(gè)低質(zhì)量樣例）

• 實(shí)際生成效果對(duì)比：

• 第二輪優(yōu)化：場景化 Prompt 模板

• 問題分析：不同類型的需求文檔（如 PRD、技術(shù)方案 等）需要匹配差異化的測試策略，通用 Prompt 難以覆蓋多樣化測試目標(biāo)與表達(dá)要求。

• 解決方案：構(gòu)建多場景路由機(jī)制，依據(jù)輸入文檔的類型自動(dòng)匹配最優(yōu)的 Prompt 模板，實(shí)現(xiàn)精準(zhǔn)化、專業(yè)化測試用例生成。

3.1.3 效果測評(píng)

為了驗(yàn)證 Prompt 優(yōu)化策略的有效性，我們針對(duì)多個(gè)關(guān)鍵動(dòng)作開展了系統(tǒng)性測評(píng)。測評(píng)基于真實(shí)業(yè)務(wù)場景中的 PRD 和技術(shù)方案文檔，采用統(tǒng)一測試集進(jìn)行對(duì)比評(píng)估。

• 測評(píng)一：Few-shot Learning 效果驗(yàn)證

• • 測試場景： 基于 PRD 生成功能測試用例（禮物貼紙玩法模塊）

  • 對(duì)比組：

  • 對(duì)照組： 無 Few-shot 的初始版本 Prompt

  • 實(shí)驗(yàn)組：引入 3 個(gè)高質(zhì)量樣例的 Few-shot Prompt

  • 測評(píng)結(jié)果：

• 關(guān)鍵發(fā)現(xiàn)：

• 測評(píng)二：場景化 Prompt 模板效果驗(yàn)證

• • 測試場景： 基于不同類型文檔生成測試用例

  • 對(duì)比組：

  • 對(duì)照組：通用 Prompt（不區(qū)分文檔類型）

  • 實(shí)驗(yàn)組： 場景化 Prompt（根據(jù)文檔類型自動(dòng)匹配專用模板）

場景 1：PRD 功能用例生成

典型改進(jìn)案例：

場景 2：技術(shù)方案用例生成

典型改進(jìn)案例：

3.1.4 核心問題

盡管經(jīng)過多輪優(yōu)化，V1.0 仍面臨三大難以突破的瓶頸：

• 問題 1：長文檔理解能力不足

• 問題 2：缺乏業(yè)務(wù)背景知識(shí)

• 問題 3：生成過程“黑盒”

3.1.5 階段總結(jié)

結(jié)論：需要從系統(tǒng)架構(gòu)層面重新設(shè)計(jì)解決方案

3.2 V2.0 版本：Multi-Agent 協(xié)作與人機(jī)交互階段

3.2.1 設(shè)計(jì)理念轉(zhuǎn)變

QA 編寫測試用例的真實(shí)思維過程并非“一步到位”，而是分階段逐步推進(jìn)的，具體如下：

1. QA 會(huì)先“拆解測試點(diǎn)（模塊）”再“細(xì)化為具體用例”

2. 每個(gè)階段都存在 Review 環(huán)節(jié)，便于及時(shí)糾偏

3. 若前期階段出現(xiàn)偏差，后續(xù)將越走越偏

基于此，我們對(duì)于 V2.0 采用了新的設(shè)計(jì)思路，即模擬人類思維方式，引入 Multi-Agent 協(xié)作機(jī)制，并在關(guān)鍵節(jié)點(diǎn)支持人工介入。

3.2.2 Multi-Agent 架構(gòu)設(shè)計(jì)

• 業(yè)務(wù)流程

• 技術(shù)架構(gòu)

3.2.3 核心 Agent

• 文檔解析 Agent

這一 Agent 的職責(zé)是，對(duì)多種格式的輸入文檔進(jìn)行標(biāo)準(zhǔn)化處理，提取其中的有效信息。

• 文檔解析流程：

• 實(shí)際案例：

• 效果示例：

• 模塊生成 Agent

這一 Agent 的職責(zé)是從清洗后的文檔中提取測試點(diǎn)，生成結(jié)構(gòu)化的測試模塊樹。

• 用例生成 Agent

這一 Agent 的職責(zé)是，基于用戶確認(rèn)的測試模塊，生成詳細(xì)的測試用例。

3.2.4 效果測評(píng)

為驗(yàn)證 Multi-Agent 架構(gòu)與人機(jī)協(xié)作機(jī)制的有效性，我們針對(duì) V2.0 版本的關(guān)鍵動(dòng)作開展了基于真實(shí)業(yè)務(wù)場景的系統(tǒng)性測評(píng)，從多個(gè)維度對(duì)比 V1.0 與 V2.0 的表現(xiàn)差異。

• 測評(píng)指標(biāo)說明

• 測評(píng)一：文檔解析 Agent 效果驗(yàn)證

• 測試場景： 處理不同長度和復(fù)雜度的 PRD 文檔

• 對(duì)比組：

• 對(duì)照組：V1.0 直接輸入完整文檔

• 實(shí)驗(yàn)組：V2.0 經(jīng)文檔解析 Agent 預(yù)處理后輸入

• 測評(píng)結(jié)果：

• 關(guān)鍵發(fā)現(xiàn)：

• 測評(píng)二：模塊生成 Agent 效果驗(yàn)證

• • 測試場景： 基于預(yù)處理后的文檔生成測試模塊樹

  • 測評(píng)結(jié)果：

• 關(guān)鍵發(fā)現(xiàn)：

• 測評(píng)三：人機(jī)協(xié)作機(jī)制效果驗(yàn)證

• • 測試場景： 對(duì)比 V1.0（黑盒模式）與 V2.0（分階段 Review）的用戶體驗(yàn)與效率

  • 測評(píng)結(jié)果：

• 關(guān)鍵發(fā)現(xiàn)：

3.2.5 階段總結(jié)

3.3 V3.0 版本：知識(shí)工程階段

3.3.1 設(shè)計(jì)動(dòng)機(jī)

我們發(fā)現(xiàn)，V2.0 遺留著一個(gè)核心問題，即生成的用例缺乏“業(yè)務(wù)深度”。

基于此，我們調(diào)整了 V3.0 的設(shè)計(jì)目標(biāo)，即構(gòu)建體系化的知識(shí)引入機(jī)制，使 AI 具備“懂業(yè)務(wù)”的能力。

3.3.2 架構(gòu)設(shè)計(jì)

• 技術(shù)架構(gòu)

• 知識(shí)引入的四個(gè)維度

3.3.3 RAG 檢索增強(qiáng)生成

• RAG 整體架構(gòu)

召回結(jié)果的價(jià)值：

1. 提供了詳細(xì)的步驟參考（如“URL 參數(shù)攜帶 need_amount”）

2. 補(bǔ)充了業(yè)務(wù)規(guī)則（如“充值后自動(dòng)返回”）

3. 最重要：帶入了歷史缺陷經(jīng)驗(yàn)（并發(fā)重復(fù)扣款、支付超時(shí)重復(fù)訂單）

• 基于 RAG 增強(qiáng)的用例生成

3.3.4 效果測評(píng)

為驗(yàn)證體系化知識(shí)引入機(jī)制的有效性，我們針對(duì) V3.0 的關(guān)鍵功能進(jìn)行了基于真實(shí)業(yè)務(wù)場景的系統(tǒng)性測評(píng)，從多個(gè)維度對(duì)比 V2.0 與 V3.0 的表現(xiàn)差異。

• 測評(píng)指標(biāo)說明

• 測評(píng)一：RAG 檢索增強(qiáng)生成效果驗(yàn)證

• • 測試場景： 基于 PRD 生成測試用例，對(duì)比有無 RAG 增強(qiáng)的效果

  • 對(duì)比組：

  • 對(duì)照組：V2.0 僅基于 PRD + Few-shot 樣例生成用例

  • 實(shí)驗(yàn)組：V3.0 基于 PRD + RAG 檢索的歷史用例和業(yè)務(wù)知識(shí)生成用例

  • 測評(píng)結(jié)果：

• 關(guān)鍵發(fā)現(xiàn)：

• 測評(píng)二：知識(shí)引入綜合效果驗(yàn)證

• • 測試場景： 對(duì)比 V2.0 和 V3.0 在整體用例生成質(zhì)量上的差異

  • 測評(píng)結(jié)果：

典型改進(jìn)案例：【直播禮物需求】

3.3.5 階段總結(jié)

3.4 V4.0 版本：自主性 & 自進(jìn)化階段

3.4.1 技術(shù)架構(gòu)

3.4.2 核心突破一：自主評(píng)審，Review-Critique 生成模式

• 設(shè)計(jì)動(dòng)機(jī)

傳統(tǒng)的 AI 生成采用“單次直出”模式，類似于只會(huì)答題而不會(huì)檢查的學(xué)生。為提升生成質(zhì)量，需賦予 AI “自我反思”能力，構(gòu)建“生成 - 評(píng)審 - 優(yōu)化”的自主評(píng)審閉環(huán)機(jī)制。

關(guān)鍵設(shè)計(jì)理念：

• Critic（判別）：AI 扮演“評(píng)審員”角色，對(duì)生成結(jié)果進(jìn)行系統(tǒng)性審查并給出專業(yè)指導(dǎo)建議

• Generator（生成）：根據(jù)評(píng)審意見自動(dòng)調(diào)整與優(yōu)化輸出內(nèi)容

• 離線異步：因多輪迭代耗時(shí)較長，采用后臺(tái)處理結(jié)合通知機(jī)制，保障效率與響應(yīng)性

• 完整技術(shù)流程

• • 整體架構(gòu)

階段一：模塊級(jí)評(píng)審 ->優(yōu)化閉環(huán)（結(jié)構(gòu)治理）

自主評(píng)審 Agent —— 模塊審查維度詳解：

輸出示例（未通過）：

階段二：用例級(jí)評(píng)審 ->優(yōu)化閉環(huán)（細(xì)節(jié)打磨）

自主評(píng)審 Agent

• 用例審查策略：全局 Review + 逐條細(xì)節(jié)檢查

• 用例審查維度：

輸出示例（未通過）：

• 質(zhì)量指標(biāo)與效果

對(duì)比傳統(tǒng)模式的提升：

3.4.3 核心突破二：基于測試計(jì)劃的自進(jìn)化場景規(guī)則模板

• 問題背景：知識(shí)維護(hù)的困境

在 V3.0 階段，為了讓 AI 理解業(yè)務(wù)，需人工編寫大量團(tuán)隊(duì)業(yè)務(wù)模板（業(yè)務(wù)已維護(hù) 170+ 套業(yè)務(wù)定制的團(tuán)隊(duì)模板），但該模式存在三大痛點(diǎn)：

1. 維護(hù)成本高：每個(gè)新業(yè)務(wù)場景均需人工梳理規(guī)則

2. 知識(shí)更新慢：歷史缺陷經(jīng)驗(yàn)無法及時(shí)同步至模板

3. 專家依賴強(qiáng)：需資深 QA 才能總結(jié)高質(zhì)量模板

因此，我們的核心設(shè)計(jì)理念是讓系統(tǒng)從歷史數(shù)據(jù)中自動(dòng)學(xué)習(xí)，實(shí)現(xiàn)隱性知識(shí)顯性化。

• 技術(shù)方案：雙層模板體系

我們構(gòu)建了兩種層級(jí)的自進(jìn)化模板：

• 單一場景知識(shí)：精準(zhǔn)規(guī)則提取

• • 定位：針對(duì)特定微場景（如“直播間送禮”、“評(píng)論輸入框”）的精確規(guī)則

  • 作用：作為 RAG 鏈路中的上下文參考；自動(dòng)補(bǔ)齊測試點(diǎn)，降低遺漏率

  • 場景模版生成流程

• RAG 召回流程

• 通用場景模板：聚類與抽象

• • 定位：多個(gè)相似場景聚合而成的通用規(guī)范（如“消費(fèi)端評(píng)論發(fā)布通用模板”）

  • 作用：支持手動(dòng)召回的 RAG 鏈路；作為明確的生成規(guī)則，提升精度

  • 生成策略：

• AI 聚合核心邏輯：

• • 提取共性：保留出現(xiàn)在兩個(gè)及以上場景中的規(guī)則

  • 去除個(gè)性：過濾僅屬于特定需求的特殊邏輯

  • 保留具體細(xì)節(jié)：避免籠統(tǒng)表述如“參考?xì)v史模板”，必須明確列出具體的驗(yàn)證點(diǎn)

• 核心價(jià)值與成效

• • 降低知識(shí)維護(hù)成本

• 提升生成質(zhì)量

3.4.4 階段總結(jié)

實(shí)踐 2: 四層架構(gòu)驅(qū)動(dòng)的方法論實(shí)踐

圖片

AI 測試用例生成系統(tǒng)的成功，往往依賴于一套分層遞進(jìn)的架構(gòu)體系�；诖�，我們?cè)趯?shí)踐中提煉出“四層架構(gòu)”模型：場景分層 → 用戶運(yùn)營 → 知識(shí)運(yùn)營 → Agentic 架構(gòu)，自上而下指導(dǎo)決策方向，自下向上提供能力支撐。

4.1 四層架構(gòu)全景

4.2 場景分層 —— 選對(duì)戰(zhàn)場

我們的核心原則是不追求“全覆蓋”，而是基于價(jià)值 x 復(fù)雜度矩陣進(jìn)行精準(zhǔn)突破。

4.3 用戶運(yùn)營 —— Badcase 驅(qū)動(dòng)閉環(huán)

Badcase 是最好的老師，通過系統(tǒng)化收集與分析用戶反饋，驅(qū)動(dòng)持續(xù)迭代優(yōu)化。

• Badcase 分類與解決路徑

• 閉環(huán)運(yùn)營流程

關(guān)鍵指標(biāo)演進(jìn)：

4.4 四層協(xié)同：從 Badcase 到系統(tǒng)進(jìn)化

我們以一個(gè) Badcase 如何驅(qū)動(dòng)四層協(xié)同進(jìn)化來示例。

• 【觸發(fā)】用戶反饋：直播送禮場景缺少“并發(fā)送禮”測試點(diǎn)

• 【第一層 - 場景分層】

  判定：直播送禮屬于“高價(jià)值”場景，值得深入優(yōu)化

• 【第二層 - 用戶運(yùn)營】

  Badcase 分類：覆蓋類問題

  根因分析：知識(shí)庫缺少并發(fā)場景的歷史缺陷數(shù)據(jù)

• 【第三層 - 知識(shí)運(yùn)營】

  補(bǔ)充缺陷庫：新增“并發(fā)送禮重復(fù)扣款”歷史 Bug 記錄

  更新規(guī)則庫：提取“支付場景必須驗(yàn)證并發(fā)”規(guī)則

  自動(dòng)更新模板：直播送禮模板中新增并發(fā)測試點(diǎn)

• 【第四層 - Agentic 架構(gòu)】

  RAG 檢索：后續(xù)生成自動(dòng)召回并發(fā)相關(guān)知識(shí)

  Critique Agent：自動(dòng)檢查是否覆蓋并發(fā)場景

• 【結(jié)果】同類 Badcase 不再出現(xiàn)，場景覆蓋率提升至 92%

4.5 方法論總結(jié)

核心啟示：

• 自頂向下做決策：通過場景分層明確資源投入方向，確保戰(zhàn)略聚焦

• 自底向上建能力：以 Agentic 架構(gòu)支撐知識(shí)運(yùn)營，推動(dòng)能力持續(xù)沉淀與復(fù)用

• Badcase 是進(jìn)化燃料：每個(gè)問題都是優(yōu)化契機(jī)，形成“反饋→改進(jìn)→提升”的持續(xù)進(jìn)化飛輪

展 望

經(jīng)過從 V1.0 到 V4.0 的持續(xù)演進(jìn)，快手智能測試用例生成系統(tǒng)已完成了從「實(shí)驗(yàn)性工具」到「標(biāo)準(zhǔn)化生產(chǎn)力工具」的跨越。

然而，我們也認(rèn)識(shí)到，測試效率提升空間遠(yuǎn)不止于「生成」環(huán)節(jié)，測試人員仍需投入大量時(shí)間在手工用例執(zhí)行上，這是下一階段的核心突破方向。未來，我們將核心突破聚焦于「AI 智能執(zhí)行用例」場景，構(gòu)建從用例生成到用例執(zhí)行的全鏈路智能化能力。

具體包含如下三個(gè)方向：