隨著圖像、視頻、音頻等非結(jié)構(gòu)化數(shù)據(jù)日益成為信息主體，傳統(tǒng)信息系統(tǒng)在處理多模態(tài)內(nèi)容時(shí)面臨理解與檢索的瓶頸。本文首先圍繞“向量檢索”這一人工智能關(guān)鍵技術(shù)，探討如何通過嵌入模型將多模態(tài)數(shù)據(jù)轉(zhuǎn)化為特征向量，并利用輕量級(jí)向量數(shù)據(jù)庫（如sqlite-vec）實(shí)現(xiàn)高效的相似性檢索，接著系統(tǒng)介紹了從“以圖搜圖”到“以文搜圖”的具體實(shí)現(xiàn)方法，最后對(duì)向量檢索在檢索增強(qiáng)生成（RAG）、視頻內(nèi)容搜索等復(fù)雜AI應(yīng)用中的潛力進(jìn)行了展望。

數(shù)據(jù)是信息系統(tǒng)的核心要素。在傳統(tǒng)認(rèn)知中，信息系統(tǒng)擅長(zhǎng)處理規(guī)整的、存儲(chǔ)在表格里的結(jié)構(gòu)化數(shù)據(jù)，如學(xué)生信息、商品庫存或交易記錄。然而，感知技術(shù)的發(fā)展使我們正身處一個(gè)數(shù)據(jù)爆炸的時(shí)代，圖像、視頻、音頻、文檔等非結(jié)構(gòu)化數(shù)據(jù)已成為信息的主流形式。面對(duì)這些多模態(tài)數(shù)據(jù)，傳統(tǒng)信息系統(tǒng)往往力不從心。如何讓信息系統(tǒng)“看懂”圖片、“聽懂”聲音，并實(shí)現(xiàn)跨模態(tài)的智能檢索？這正是多模態(tài)向量檢索技術(shù)要解決的核心問題。

向量檢索技術(shù)簡(jiǎn)介：

從“數(shù)據(jù)”走向“向量”

要理解多模態(tài)數(shù)據(jù)，可以借助嵌入（Embedding）模型與向量化技術(shù)的支持。我們可以將嵌入模型理解為一個(gè)高效的“翻譯官”，它能將非結(jié)構(gòu)化的原始數(shù)據(jù)（如“一只在草地上奔跑的金毛犬”這段文本，或一張對(duì)應(yīng)的照片）轉(zhuǎn)換成一串能夠捕捉其核心特征的數(shù)字，即特征向量（如圖1）。

圖1

通過深度學(xué)習(xí)模型（如CLIP模型），語義相近的內(nèi)容會(huì)被“翻譯”成空間中距離相近的向量。例如，“狗”和“貓”之類的文本，在向量空間中的距離會(huì)非常接近，而相對(duì)來說，“狗”和“電腦”之類的距離，則比“動(dòng)物”要遠(yuǎn)一些。一旦數(shù)據(jù)被轉(zhuǎn)化為向量，復(fù)雜且模糊的語義相似度比較，就轉(zhuǎn)變?yōu)榫_且高效的向量空間距離計(jì)算，如余弦相似度。這些向量被存儲(chǔ)在專門的向量數(shù)據(jù)庫中，從而實(shí)現(xiàn)快速、可擴(kuò)展的相似性搜索和分析，這便是向量檢索的基石。

向量數(shù)據(jù)庫的選擇：

輕量化利器sqlite-vec

要實(shí)現(xiàn)多模態(tài)檢索，需一個(gè)能夠高效存儲(chǔ)與檢索向量的“倉庫”。盡管市面上已有諸多專業(yè)向量數(shù)據(jù)庫，但在教學(xué)環(huán)境、個(gè)人項(xiàng)目或資源受限的中小型應(yīng)用中，它們的部署復(fù)雜度與資源消耗往往較高。考慮到高中信息技術(shù)課程普遍以SQLite作為數(shù)據(jù)庫教學(xué)基礎(chǔ)，sqlite-vec這一輕量級(jí)工具顯得尤為適用。

sqlite-vec是一個(gè)專注于向量搜索、無任何外部依賴的SQLite擴(kuò)展，支持跨平臺(tái)使用。其使用方式延續(xù)了SQLite的簡(jiǎn)潔風(fēng)格，開發(fā)者只需聲明一個(gè)帶有向量列的“虛擬表”，隨后使用標(biāo)準(zhǔn)的INSERT INTO語句插入向量數(shù)據(jù)，再通過形如“SELECT…WHERE content_embedding MATCH?”的SQL語句執(zhí)行相似性搜索。這種將強(qiáng)大功能封裝于熟悉接口之下的設(shè)計(jì)，大幅降低了向量檢索的開發(fā)門檻與技術(shù)復(fù)雜度。代碼如圖2所示。

圖2

sqlite-vec支持pip安裝，操作便捷。性能測(cè)試顯示，相較于傳統(tǒng)手動(dòng)遍歷計(jì)算向量相似度的方式，sqlite-vec在查詢效率上具備壓倒性優(yōu)勢(shì)，足以勝任中小規(guī)模檢索場(chǎng)景的需求。

功能展示：

從“以圖搜圖”到“以文搜圖”

要實(shí)現(xiàn)向量檢索功能，首先需將原始數(shù)據(jù)轉(zhuǎn)化為向量并存入數(shù)據(jù)庫。sqlite-vec本身不提供向量化功能，需借助其他模型完成特征提取。作為中小學(xué)廣泛使用的深度學(xué)習(xí)工具，XEduHub內(nèi)置了多種向量化模型，成為sqlite-vec的理想搭檔。XEduHub提供的向量特征提取任務(wù)如下表所示。

借助XEduHub的特征提取功能，我們可以輕松實(shí)現(xiàn)以圖搜圖、以文搜圖之類的AI檢索功能。

01

以圖搜圖

“以圖搜圖”指用戶上傳一張圖片，系統(tǒng)即可在海量圖庫中快速找出視覺內(nèi)容相似的圖像。其實(shí)現(xiàn)流程如下：

首先，將圖庫中所有圖像轉(zhuǎn)換為特征向量并存入數(shù)據(jù)庫；其次，將用戶上傳的查詢圖片也轉(zhuǎn)換為特征向量；最后，在向量數(shù)據(jù)庫中將查詢向量與庫中所有圖像向量進(jìn)行相似度比較，按相似度從高到低返回結(jié)果。測(cè)試代碼如圖3所示。

圖3

02

以文搜圖

“以文搜圖”指用戶通過輸入文字描述來搜索相關(guān)圖片。XEduHub所采用的CLIP模型屬于多模態(tài)理解模型，能夠?qū)D像和文本映射到同一向量空間。因此，文本“一只在沙灘上的金毛犬”與其對(duì)應(yīng)圖片的向量在空間中位置鄰近。

“以文搜圖”的實(shí)現(xiàn)流程與“以圖搜圖”基本一致，區(qū)別僅在于：先使用CLIP的文本編碼器將用戶輸入的自然語言轉(zhuǎn)換為文本向量，隨后在向量數(shù)據(jù)庫中進(jìn)行檢索，找出語義最匹配的圖片。

測(cè)試代碼中僅需修改生成查詢向量的部分（如圖4）。

圖4

更多AI功能的實(shí)現(xiàn)

向量檢索的能力遠(yuǎn)不止于此，它還是實(shí)現(xiàn)更復(fù)雜AI應(yīng)用的腳手架。

01

檢索增強(qiáng)生成

檢索增強(qiáng)生成是當(dāng)前提升大語言模型回答質(zhì)量、抑制其“幻覺”的關(guān)鍵技術(shù)。其核心思路是：在讓大模型回答問題之前，先從外部知識(shí)庫（如專業(yè)文檔、教材）中檢索出相關(guān)信息，并將這些信息作為上下文提供給模型，從而生成更準(zhǔn)確的答案。在此過程中，向量檢索扮演了“信息篩選員”的角色。例如，當(dāng)用戶提問“光合作用的主要階段是什么？”時(shí)，系統(tǒng)會(huì)先將問題轉(zhuǎn)化為向量，隨后在向量化的知識(shí)庫中快速檢索出最相關(guān)的文檔片段，再將這些片段交給大語言模型，生成精準(zhǔn)且有據(jù)可依的答案。

02

視頻畫面搜索

視頻可以視為一系列連續(xù)幀圖像（可能包含音頻）的集合。對(duì)視頻內(nèi)容的檢索可借鑒圖像檢索的技術(shù)路徑。我們可以使用視頻描述或視頻問答模型，對(duì)視頻關(guān)鍵幀進(jìn)行抽幀與理解，生成每一幀的特征向量，或?qū)φ麄€(gè)視頻內(nèi)容生成概括性向量。當(dāng)用戶搜索“視頻中貓咪跳上沙發(fā)的片段”時(shí)，系統(tǒng)可將該文本轉(zhuǎn)換為向量，并與視頻關(guān)鍵幀的向量進(jìn)行匹配，從而快速定位事件發(fā)生的時(shí)間點(diǎn)，實(shí)現(xiàn)精準(zhǔn)的“視頻畫面搜索”。

總結(jié)

信息系統(tǒng)是信息技術(shù)課程的核心概念。在傳統(tǒng)教學(xué)中，我們多聚焦于結(jié)構(gòu)化數(shù)據(jù)的處理。然而，人工智能的快速發(fā)展，尤其是多模態(tài)理解與檢索技術(shù)的成熟，正推動(dòng)傳統(tǒng)信息系統(tǒng)實(shí)現(xiàn)功能上的跨越。向量檢索僅僅是這輪變革中的一環(huán)，它使信息系統(tǒng)進(jìn)化為能夠“理解”豐富世界、支持智能問答與跨模態(tài)搜索的“智能信息助手”。借助sqlite-vec等輕量化工具，這些前沿技術(shù)變得觸手可及，更易融入教學(xué)實(shí)踐。

本文作者：

謝作如

浙江省溫州科技高級(jí)中學(xué)

文章刊登于《中國(guó)信息技術(shù)教育》

2025年第23期

引用請(qǐng)注明參考文獻(xiàn)：

謝作如.當(dāng)信息系統(tǒng)遇上人工智能之向量檢索——多模態(tài)數(shù)據(jù)分析初體驗(yàn)[J].中國(guó)信息技術(shù)教育，2025（23）：80-82.

歡迎訂閱

識(shí)別上方二維碼即可訂閱