哈嘍，大家好，小圓今天想跟大家好好聊聊RAG構(gòu)建知識(shí)庫(kù)的那些事，不少人覺得RAG不就是“錄入、檢索、增強(qiáng)、生成”四步走嘛，Demo階段跑起來確實(shí)不難，但一到真實(shí)業(yè)務(wù)場(chǎng)景，要么召回率上不去，要么模型總說“胡話”，想搭個(gè)能長(zhǎng)期用的知識(shí)庫(kù)更是難上加難。

其實(shí)說白了，RAG的效果天花板從來不是模型多強(qiáng)，而是你家知識(shí)庫(kù)的質(zhì)量夠不夠硬、結(jié)構(gòu)夠不夠清晰，今天咱們就從最容易被忽略但最關(guān)鍵的“錄入”環(huán)節(jié)扒起，把這地基工程的細(xì)節(jié)講透。

錄入可不是把文件一股腦丟進(jìn)去就完事了，得先選對(duì)原料再做好初加工，這兩步直接決定了知識(shí)庫(kù)的價(jià)值，之前跟做客服系統(tǒng)的朋友聊過，他們一開始貪多導(dǎo)入了一大堆無關(guān)的公開數(shù)據(jù)，結(jié)果用戶問業(yè)務(wù)問題時(shí)總匹配到?jīng)]用的內(nèi)容。

后來砍了冗余數(shù)據(jù)只留核心業(yè)務(wù)資料，效果立馬提升了不少，數(shù)據(jù)源主要分三類，各有各的門道，內(nèi)部業(yè)務(wù)數(shù)據(jù)絕對(duì)是香餑餑，像產(chǎn)品文檔、售后記錄、業(yè)務(wù)SOP這些，跟業(yè)務(wù)貼得最近，是構(gòu)建專屬能力的關(guān)鍵。

不過用的時(shí)候得注意，得跟業(yè)務(wù)同事確認(rèn)清楚字段含義，比如同樣是客戶狀態(tài)，銷售那邊指的是成交階段，售后可能指服務(wù)等級(jí)，不對(duì)齊很容易出歧義，公開數(shù)據(jù)集比如HuggingFace、Kaggle上的資源，適合快速補(bǔ)知識(shí)盲區(qū)，但千萬別貪多，得挑跟業(yè)務(wù)相關(guān)的子集。

不然只會(huì)讓知識(shí)庫(kù)更亂，定向爬蟲能精準(zhǔn)補(bǔ)領(lǐng)域知識(shí)，但必須守規(guī)矩，robots協(xié)議得遵守，敏感信息絕對(duì)不能碰，選好原料就得做結(jié)構(gòu)化處理，說白了就是讓機(jī)器“看得懂”，文本類資料要做好標(biāo)簽化，給產(chǎn)品文檔標(biāo)上產(chǎn)品名稱、功能模塊。

給業(yè)務(wù)手冊(cè)標(biāo)上責(zé)任部門、風(fēng)險(xiǎn)節(jié)點(diǎn)，這樣模型檢索時(shí)能精準(zhǔn)定位，表格是個(gè)難點(diǎn)，二維結(jié)構(gòu)機(jī)器不好理解，我見過不少團(tuán)隊(duì)直接丟Excel進(jìn)去，結(jié)果模型沒法跨表查數(shù)據(jù)，其實(shí)只要定義好字段語義、做好跨表關(guān)聯(lián)。

轉(zhuǎn)成TableSchema對(duì)象，就能讓靜態(tài)表格變成可推理的知識(shí)單元，3圖片類比如流程圖、界面截圖，先用OCR提取文本，再識(shí)別節(jié)點(diǎn)關(guān)系、打語義標(biāo)簽，這樣搜文本就能召回相關(guān)圖片，還能做圖文聯(lián)合理解，做好這些，所有數(shù)據(jù)都會(huì)統(tǒng)一成規(guī)范格式進(jìn)入下一步。

內(nèi)容清洗就像給知識(shí)“洗澡”，既要洗干凈又不能破壞本身的意思�；A(chǔ)凈化主要處理格式問題，比如刪掉亂碼、多余的空白字符，統(tǒng)一編碼和換行格式，我之前處理過一批掃描的手冊(cè)，頁眉頁腳和頁碼占了不少篇幅，刪掉之后清爽多了。

語義降噪更關(guān)鍵，要?jiǎng)h掉重復(fù)的段落和文檔，矯正矛盾信息，比如同一個(gè)產(chǎn)品功能有兩個(gè)版本的說明，得跟業(yè)務(wù)方確認(rèn)清楚哪個(gè)是最新的，還得檢查有沒有邏輯斷裂的片段，不然模型很容易理解跑偏，分塊是很多人踩坑的地方，切得不好直接影響召回率。

固定字符數(shù)分塊最容易實(shí)現(xiàn)，比如500字一塊，但缺點(diǎn)也明顯，很可能把一句話切成兩半，語義不完整，優(yōu)化的辦法是加規(guī)則分隔符再留10%-20%的重疊區(qū)間，保證上下文連貫，遞歸分塊就智能多了，先按大的分隔符比如段落切。

切完如果還是太長(zhǎng)，再按句子切，適合專業(yè)文檔和長(zhǎng)文本，基于格式的分塊針對(duì)性很強(qiáng)，Markdown按標(biāo)題層級(jí)切，代碼按函數(shù)切，能最大程度保留原有結(jié)構(gòu)，語義分塊最高級(jí)，先轉(zhuǎn)成向量再按相似度聚類，把相關(guān)的句子放一塊，適合高精度的企業(yè)級(jí)知識(shí)庫(kù)。

向量化說白了就是給知識(shí)做語義翻譯，把人類能懂的文本變成機(jī)器能計(jì)算的向量，整個(gè)流程分三步，離線階段先把每個(gè)分好的塊轉(zhuǎn)成固定維度的向量，比如768維或1024維，再存到向量數(shù)據(jù)庫(kù)里，像FAISS、Milvus這些都是常用的。

這一步就相當(dāng)于給每段知識(shí)辦了張語義身份證，在線檢索時(shí)，用戶的問題會(huì)用同一個(gè)模型編碼成向量，然后去向量數(shù)據(jù)庫(kù)里找相似度最高的top-k個(gè)塊，這時(shí)候模型的穩(wěn)定性直接決定能不能找到對(duì)的知識(shí)。

聊到向量化模型，很多人會(huì)提開源的bge-large-zh，但從實(shí)際落地情況看，企業(yè)里用得最多的還是百度的文心ernie系列，尤其是客服和搜索系統(tǒng)，阿里的Open-Text-Embedding在政企場(chǎng)景占比很高，訊飛、智譜這些廠商的模型大多是企業(yè)內(nèi)部使用，個(gè)人開發(fā)者接觸不到。

回頭看RAG構(gòu)建知識(shí)庫(kù)的過程，“錄入”這個(gè)地基工程確實(shí)是決定效果上限的關(guān)鍵，從選數(shù)據(jù)源到結(jié)構(gòu)化、清洗、分塊再到向量化，每一步都不能馬虎，數(shù)據(jù)源選得準(zhǔn)，結(jié)構(gòu)化做得好，清洗分塊到位，向量化精準(zhǔn)，后續(xù)的檢索和生成才能水到渠成。

很多團(tuán)隊(duì)一開始只盯著模型，忽略了這些基礎(chǔ)工作，結(jié)果在真實(shí)業(yè)務(wù)中處處碰壁，其實(shí)RAG的核心邏輯很樸素，就是好料出好品，把知識(shí)庫(kù)的地基打牢了，再結(jié)合后續(xù)的檢索和生成優(yōu)化，才能搭建出穩(wěn)定可靠、能支撐業(yè)務(wù)的系統(tǒng)。