大語言模型 (LLM) 在部署后如何靈活地控制其行為，一直是業(yè)界面臨的核心挑戰(zhàn)。微調(diào)代價(jià)高昂且存在災(zāi)難性遺忘風(fēng)險(xiǎn)，提示工程又只能提供表層的控制，缺乏行為保證。LLM Steering 技術(shù)通過在推理階段對(duì)模型隱藏狀態(tài)進(jìn)行定向操作，在不修改模型權(quán)重的情況下實(shí)現(xiàn)精準(zhǔn)行為控制，為這一問題提供了一條輕量且可行的路徑。

近年來，社區(qū)已涌現(xiàn)出 repeng、pyreft、EasyEdit2 等代表性框架，分別在分析式向量提取、學(xué)習(xí)式表征微調(diào)、綜合編輯等方向做出了重要探索。不過，隨著 Steering 技術(shù)從單一實(shí)驗(yàn)場景走向多目標(biāo)、大規(guī)模的生產(chǎn)部署，現(xiàn)有框架在推理效率、控制粒度和算法擴(kuò)展性上仍有進(jìn)一步提升的空間。

在此背景下，浙江大學(xué)研究團(tuán)隊(duì)提出了EasySteer——一個(gè)基于 vLLM 構(gòu)建的高性能、可擴(kuò)展 LLM Steering 統(tǒng)一框架。該框架通過與 vLLM 推理引擎的深度集成，相比現(xiàn)有 Steering 框架實(shí)現(xiàn)了 10.8-22.3 倍的推理加速，同時(shí)提供更細(xì)粒度的干預(yù)控制，并為八大應(yīng)用場景提供了預(yù)計(jì)算 Steering 向量與完整復(fù)現(xiàn)示例，方便研究者快速上手和對(duì)照復(fù)現(xiàn)。

• 論文地址：https://arxiv.org/abs/2509.25175
• 開源代碼：https://github.com/ZJU-REAL/EasySteer
• 演示視頻：https://www.youtube.com/watch?v=3rRGzZmhrXg
• 簡易 demo：https://huggingface.co/spaces/zjuxhl/EasySteer

設(shè)計(jì)動(dòng)機(jī)：從研究原型到生產(chǎn)部署的新需求

隨著 Steering 技術(shù)在安全控制、推理優(yōu)化、幻覺緩解等方向不斷取得進(jìn)展，實(shí)際應(yīng)用中對(duì)框架提出了更高的要求。研究者總結(jié)了三個(gè)關(guān)鍵方向：

高吞吐推理：一方面，Steering 研究中大量的評(píng)測、消融實(shí)驗(yàn)需要反復(fù)推理，低效的推理后端會(huì)嚴(yán)重拖慢科研迭代速度；另一方面，生產(chǎn)環(huán)境通常需要處理大規(guī)模并發(fā)請(qǐng)求，只有具備足夠的吞吐能力，Steering 技術(shù)才具備實(shí)際部署的可能性。利用 vLLM 等專用推理引擎的連續(xù)批處理能力，可以同時(shí)在科研效率和生產(chǎn)落地兩個(gè)層面帶來實(shí)質(zhì)性提升。

精細(xì)粒度控制：現(xiàn)有框架大多支持層級(jí)和位置級(jí)別的干預(yù)，但在更細(xì)粒度的場景下仍有局限。例如，token 級(jí)別的條件干預(yù)（如僅在特定 token 出現(xiàn)時(shí)觸發(fā)）、多向量協(xié)同等能力，對(duì)于復(fù)雜場景（如推理步邊界的選擇性干預(yù)）至關(guān)重要。

便捷的算法集成：Steering 方法迭代迅速，框架需要提供低門檻的插件機(jī)制，方便研究者快速實(shí)現(xiàn)和對(duì)比新算法。

框架設(shè)計(jì)

EasySteer 由四個(gè)模塊組成，覆蓋從向量生成到應(yīng)用部署的完整流程：

Steering 向量生成模塊：同時(shí)支持分析式（CAA、PCA、線性探針、SAE 等）和學(xué)習(xí)式（LoReFT、LM-Steer 等）兩大類方法，通過統(tǒng)一的隱藏狀態(tài)捕獲接口，研究者可以在同一框架內(nèi)便捷地生成和對(duì)比不同類型的 Steering 向量。

Steering 向量應(yīng)用模塊：是 EasySteer 的核心，主要解決三個(gè)問題：通過非侵入式的動(dòng)態(tài)模型包裝器兼容多種 LLM 架構(gòu)；通過解耦的算法接口支持自定義 Steering 算法的即插即用；通過精細(xì)的參數(shù)控制支持條件干預(yù)、多向量協(xié)同等高級(jí)策略。

交互式演示系統(tǒng)：提供基于 Web 的界面，集成推理、多輪對(duì)話、向量提取和訓(xùn)練功能，支持基線與 Steering 輸出的并排對(duì)比。

資源庫：提供覆蓋安全、推理、知識(shí)、真實(shí)性、語言、情感、人格、風(fēng)格八大場景的預(yù)計(jì)算 Steering 向量，每個(gè)場景都附帶從數(shù)據(jù)準(zhǔn)備到應(yīng)用的完整復(fù)現(xiàn)流程。

性能評(píng)估

框架推理效率

研究者在 NVIDIA A6000 GPU (48GB) 上，使用 DeepSeek-R1-Distill-Qwen-1.5B 進(jìn)行了系統(tǒng)性基準(zhǔn)測試。

在 Steering 開銷方面，EasySteer 在全層干預(yù)的批量推理場景下，短序列吞吐量為 8991 tokens/s，長序列為 7074 tokens/s，相比無 Steering 基線（10248 / 7563 tokens/s）分別下降約 12% 和 6%。即使同時(shí)應(yīng)用三個(gè) Steering 向量到所有層，長序列吞吐仍保持在 6854 tokens/s，為基線的約 91%。整體來看，Steering 操作帶來的額外開銷較為可控。

在框架對(duì)比方面，以長序列批量推理為例，EasySteer 的吞吐量（7074 tokens/s）約為 pyreft（653 tokens/s）的 10.8 倍、repeng（317 tokens/s）的 22.3 倍。

框架有效性驗(yàn)證

過度思考緩解：研究者參照 SEAL 方法，從 1000 個(gè) MATH 訓(xùn)練樣本中提取三種行為向量（執(zhí)行、反思、轉(zhuǎn)換），在推理步邊界處增強(qiáng)執(zhí)行向量、抑制反思和轉(zhuǎn)換向量。在 DeepSeek-R1-Distill-Qwen-1.5B 上，SEAL Steering 將 GSM8K 準(zhǔn)確率從 79.6% 提升至 82.3%，同時(shí) token 使用量減少約 40%。MATH500 上準(zhǔn)確率從 70.8% 提升至 78.4%。7B 模型同樣展現(xiàn)了效率收益，GSM8K 和 MATH500 分別減少了 13.3% 和 16.8% 的 token 消耗。

幻覺緩解：在 TruthfulQA 數(shù)據(jù)集上進(jìn)行兩折交叉驗(yàn)證，分析式方法和學(xué)習(xí)式方法均取得了不同程度的提升。其中，PCA 方法在 Llama-3.1-8B-Instruct 上將多選準(zhǔn)確率從 50.55% 提升至 62.67%；LoReFT 在 Qwen2.5-1.5B-Instruct 上將開放式問答準(zhǔn)確率從 27.17% 提升至 33.41%。分析式方法在提升準(zhǔn)確率的同時(shí)通常能較好地保持語言流暢度，學(xué)習(xí)式方法則在準(zhǔn)確率和流暢度之間存在一定的權(quán)衡。

定性效果：EasySteer 在八大場景中均展現(xiàn)了有效的行為控制能力。例如，安全場景下可將模型從生成不當(dāng)內(nèi)容引導(dǎo)為拒絕回答；推理場景下可將簡單算術(shù)題的冗長推演簡化為直接輸出結(jié)果；語言場景下可將回復(fù)從英文切換為中文輸出。