大家好，我是 Ai 學(xué)習(xí)的老章

一文中提到 2025 年最熱門的項(xiàng)目分布在 AI 基礎(chǔ)設(shè)施（vllm、ollama、huggingface/transformers）和持久的生態(tài)系統(tǒng)（vscode、godot、home-assistant）之間。

• 一方面，像vllm、ollama、ragflow、llama.cpp和huggingface/transformers這樣的項(xiàng)目占據(jù)主導(dǎo)地位，這表明貢獻(xiàn)者正在投資 AI 的基礎(chǔ)層——模型運(yùn)行時(shí)、推理引擎和編排框架。

• 另一方面，像vscode、godot、expo和home-assistant這樣的主要生態(tài)系統(tǒng)繼續(xù)吸引穩(wěn)定的貢獻(xiàn)者基礎(chǔ)，表明開源的勢(shì)頭遠(yuǎn)遠(yuǎn)超出了 AI 領(lǐng)域。

vLLM——2025 年增長(zhǎng)最快的開源 AI 項(xiàng)目之一。

按貢獻(xiàn)者數(shù)量排名的頂級(jí)開源項(xiàng)目 按貢獻(xiàn)者數(shù)量增長(zhǎng)最快的項(xiàng)目 吸引最多首次貢獻(xiàn)者的項(xiàng)目

這個(gè)推理引擎也是我最喜愛的，本號(hào)測(cè)試部署的 N 多大模型都是用它來(lái)部署的

唯一讓我不滿的是我在內(nèi)網(wǎng)用 docker 起 vLLM，它太大了，足足 22 個(gè) GB

周末剛看到一個(gè)新項(xiàng)目：輕量級(jí) vLLM 實(shí)現(xiàn)——Nano-vLLM

項(xiàng)目地址：https://github.com/GeeeekExplorer/nano-vllm

關(guān)鍵功能快速離線推理 - 推理速度與 vLLM 相當(dāng) 易讀的代碼庫(kù) - 約 1,200 行 Python 代碼的簡(jiǎn)潔實(shí)現(xiàn) ? 優(yōu)化套件 - 前綴緩存、張量并行、Torch 編譯、CUDA 圖等

一行命令安裝pip install git+https://github.com/GeeeekExplorer/nano-vllm.git

手動(dòng)下載模型權(quán)重，使用以下命令：

huggingface-cli download --resume-download Qwen/Qwen3-0.6B \
  --local-dir ~/huggingface/Qwen3-0.6B/ \
  --local-dir-use-symlinks False

網(wǎng)不通的話，可以使用我多次推薦的modelscope

pip install modelscope 之后，即可使用 modelscope download 下載模型

下載完整模型庫(kù)

`modelscope download --model Qwen/Qwen3-0.6B

下載單個(gè)文件到指定本地文件夾（以下載 README.md 到當(dāng)前路徑下“dir”目錄為例）

modelscope download --model Qwen/Qwen3-0.6B README.md --local_dir ./dir

API 與 vLLM 的接口類似，LLM.generate方法有一些細(xì)微差別：

from nanovllm import LLM, SamplingParams
llm = LLM("/YOUR/MODEL/PATH", enforce_eager=True, tensor_parallel_size=1)
sampling_params = SamplingParams(temperature=0.6, max_tokens=256)
prompts = ["Hello, Nano-vLLM."]
outputs = llm.generate(prompts, sampling_params)
outputs[0]["text"]

看官方測(cè)試配置：**

• 硬件：RTX 4070 筆記本電腦（8GB）

• 模型: Qwen3-0.6B

• 總請(qǐng)求量: 256個(gè)序列

• 輸入長(zhǎng)度: 隨機(jī)采樣在100到1024個(gè)標(biāo)記之間

• 輸出長(zhǎng)度: 隨機(jī)采樣在100到1024個(gè)標(biāo)記之間

性能結(jié)果：

推理引擎

輸出標(biāo)記

時(shí)間（秒）

吞吐量（令牌/秒）

vLLM

133,966

Nano-vLLM

133,966

這種小模型，時(shí)延更小，吞吐量更大，看起來(lái)是很不錯(cuò)的樣子

時(shí)間關(guān)系，我還沒有本地跑大參數(shù)模型，后續(xù)肯定要試一試的。

文末薦書