假設(shè)你正在 Perplexity 的 ML Engineer 面試中，面試官問道：

“你的 RAG 系統(tǒng)在生產(chǎn)環(huán)境中出現(xiàn)幻覺問題。你會如何診斷是檢索器還是生成器出了問題？”

給出的答案，值得逐字學(xué)習(xí)！

核心問題：先明白 RAG 系統(tǒng)為什么會“胡說八道”？

RAG 系統(tǒng)由兩部分組成：

檢索器（Retriever）和生成器（Generator），如果系統(tǒng)輸出不靠譜，可能是這兩部分中的一個或兩個出了問題。文章強(qiáng)調(diào)，RAG 系統(tǒng)的質(zhì)量是檢索和生成的“乘法”關(guān)系——任何一個部分崩了，整個系統(tǒng)就廢了。簡單說，好的語言模型救不了爛檢索，完美的檢索也救不了差勁的生成。

如何診斷問題？

要搞清楚是檢索器還是生成器的問題，得用不同的指標(biāo)分別檢查它們，而不是籠統(tǒng)地看“準(zhǔn)確率”這種模糊指標(biāo)。

文章提出了一個清晰的診斷框架：

1. 檢索器的指標(biāo)（Retriever Metrics）

檢索器的任務(wù)是找到正確的上下文信息，關(guān)鍵看以下三點(diǎn)：

· 上下文相關(guān)性（Contextual Relevancy）：檢索到的內(nèi)容中有多少是真正相關(guān)的？

· 上下文召回率（Contextual Recall）：是否找回了所有需要的關(guān)鍵信息？（漏掉重要細(xì)節(jié)會導(dǎo)致幻覺）

· 上下文精確度（Contextual Precision）：相關(guān)內(nèi)容是否排在前面，垃圾信息是否被壓到后面？ 為什么召回率最重要？

如果召回率低，哪怕檢索到的內(nèi)容很精準(zhǔn)，系統(tǒng)也可能因為缺了關(guān)鍵信息而胡亂生成。比如，檢索器只抓到一半的事實，生成器就會“腦補(bǔ)”錯誤答案，顯得很自信但完全不對。

2. 生成器的指標(biāo)（Generation Metrics） 生成器的任務(wù)是根據(jù)檢索到的上下文生成靠譜的回答

關(guān)鍵看：

· 忠實度（Faithfulness）：輸出是否與檢索到的信息一致？有沒有自相矛盾？

· 答案相關(guān)性（Answer Relevancy）：回答是否切題？有沒有跑偏？

· 定制化指標(biāo)（Custom Metrics）：輸出是否符合特定格式或風(fēng)格要求？ 診斷公式

· 高忠實度 + 低相關(guān)性 → 檢索器有問題（找到的內(nèi)容不相關(guān)，生成器無從下手）。

· 低忠實度 + 高相關(guān)性 → 生成器有問題（檢索內(nèi)容沒問題，但生成器沒用好）。

· 兩者都低 → 整個系統(tǒng)都有問題，趕緊全面檢查！

· 兩者都高 → 系統(tǒng)整體沒問題，但可能有邊緣情況需要排查。

3.生產(chǎn)環(huán)境中的應(yīng)對策略

在實際生產(chǎn)中，RAG 系統(tǒng)的維護(hù)需要更系統(tǒng)化的方法。文章指出，高級工程師和初級工程師的區(qū)別在于評估和監(jiān)控的方式

初級工程師的誤區(qū)：

· 簡單地端到端測試，祈禱系統(tǒng)不出問題。

· 用籠統(tǒng)的“準(zhǔn)確率”指標(biāo)，忽視組件級問題。

高級工程師的做法：

1. 組件級評估：分別監(jiān)控檢索器和生成器的指標(biāo)，找出問題根源。

2. 自動化 CI/CD 評估：在開發(fā)和部署流程中嵌入自動化測試，確保每次更新不會引入新問題。

3. 生產(chǎn)環(huán)境監(jiān)控：實時監(jiān)控系統(tǒng)表現(xiàn)，發(fā)現(xiàn)問題及時報警。

4. 異步批量評估：定期分析生產(chǎn)數(shù)據(jù)，捕捉模型漂移（性能隨時間下降）。

不同場景的指標(biāo)要求 不同應(yīng)用場景對RAG系統(tǒng)的要求不同，指標(biāo)閾值也不一樣：

· 客戶支持：忠實度 > 0.9（不能給錯信息）。 · 研究助手：上下文召回率 > 0.8（信息要全面）。 · 代碼補(bǔ)全：答案相關(guān)性 > 0.9（必須緊扣主題）。 · 法律文檔：所有指標(biāo) > 0.95（零容錯）。

面試中的“殺手锏”回答

一個高分回答技巧：用 LLM-as-a-judge 來評估系統(tǒng)。比如，用 GPT-4 檢查生成答案和檢索上下文是否一致，跟蹤分?jǐn)?shù)分布來發(fā)現(xiàn)模型漂移。這顯示你了解前沿的評估技術(shù)。

回答面試問題“如何在生產(chǎn)中實現(xiàn)評估”時，千萬別說“手動測試”。正確答案是：

· 在CI/CD中加入自動化組件級評估。

· 設(shè)置實時監(jiān)控和報警機(jī)制。

· 對生產(chǎn)流量進(jìn)行異步批量評估。

核心總結(jié)

RAG 系統(tǒng)出問題，80% 是評估沒做好，20% 才是架構(gòu)問題。想在面試中脫穎而出，關(guān)鍵是：

1. 理解檢索器和生成器的獨(dú)立指標(biāo)，分開診斷。

2. 強(qiáng)調(diào)上下文召回率對避免幻覺的重要性。

3. 展示你對生產(chǎn)環(huán)境監(jiān)控和自動化評估的理解。

4. 用具體場景的指標(biāo)要求證明你的實戰(zhàn)經(jīng)驗。

最后，提到像 Perplexity、Gemini、Claude 這樣的高質(zhì)量 RAG 系統(tǒng)，建議“逆向研究”它們的表現(xiàn)，思考它們?nèi)绾纹胶鈾z索和生成。

“關(guān)注我，一個產(chǎn)品經(jīng)理的創(chuàng)業(yè)故事”

每日案例拆解庫，AI等產(chǎn)品打卡群

我創(chuàng)建的產(chǎn)品設(shè)計打卡社群，加入后365天，每天體驗一款A(yù)PP。提升產(chǎn)品設(shè)計能力，同時有1300份體驗報告幫助你找到競品。

在這里你可以隨時查詢到你想找的各類競品行業(yè)APP，無須自己親自下載就可以馬上得到APP的一手產(chǎn)品優(yōu)化、交互設(shè)計、功能描述信息。

從優(yōu)化&建議、商業(yè)模式、運(yùn)營、功能描述、交互設(shè)計、產(chǎn)品定位至少6個維度，體驗一款應(yīng)用。

平均1天1塊錢，掃碼購買即可加入

連續(xù)體驗48款應(yīng)用，通過后原路退回

報名后添加星球助理

PMTalk123