大家好，我是 Ai 學(xué)習(xí)的老章

看到一個(gè)新的大模型推理工具——Shimmy，號(hào)稱(chēng)全面超越 Ollama

省流：實(shí)際體驗(yàn)，沒(méi)啥優(yōu)勢(shì)

Shimmy

本地 AI，零鎖定

Shimmy 是一個(gè)5.1MB 的單文件可執(zhí)行程序，為 GGUF 模型提供100% 兼容 OpenAI 的端點(diǎn)。

將現(xiàn)有 AI 工具指向 Shimmy，它們即可立即運(yùn)行——本地、私密且完全免費(fèi)。

? 零配置開(kāi)箱即用

• 自動(dòng)發(fā)現(xiàn)Hugging Face 緩存、Ollama 及本地目錄中的模型

• 自動(dòng)分配端口，避免沖突

• 自動(dòng)檢測(cè) LoRA 適配器，支持專(zhuān)用模型

• 開(kāi)箱即用——無(wú)需配置文件，無(wú)需設(shè)置向?qū)?/p>

本地開(kāi)發(fā)完美之選

• 隱私：代碼始終保留在本地

• 成本：無(wú)需 API 密鑰，無(wú)需按 Token 計(jì)費(fèi)

• 速度：本地推理，亞秒級(jí)響應(yīng)

• 穩(wěn)定：無(wú)速率限制，零宕機(jī)

Shimmy 的基準(zhǔn)測(cè)試聚焦于真實(shí)場(chǎng)景性能而非理論峰值。用戶(hù)關(guān)心的是加載模型、在內(nèi)存受限情況下的文本生成以及跨配置的穩(wěn)定吞吐量。

Model

大小

加載時(shí)間

首個(gè) token

token/秒

內(nèi)存

phi3-mini

2.4GB

1.2 秒

220 毫秒

24.3

3.1GB

llama-7b

4.1GB

2.8 秒

410 毫秒

15.7

5.9GB

mistral-7b

4.1GB

2.6 秒

380 毫秒

18.2

5.7GB

? 性能對(duì)比

工具

二進(jìn)制大小

啟動(dòng)時(shí)間

內(nèi)存用量

OpenAI API

Shimmy5.1MB<100 毫秒50MB100%

Ollama

680MB

5–10 秒

200MB+

部分

llama.cpp

89MB

1-2 秒

100MB

用法 API

• GET /health- 健康檢查

• POST /v1/chat/completions- 兼容 OpenAI 的聊天

• GET /v1/models- 列出可用模型

• POST /api/generate- Shimmy 原生 API

• GET /ws/generate- WebSocket 流式傳輸

shimmy serve                    # Start server (auto port allocation) shimmy serve --bind 127.0.0.1:8080  # Manual port binding shimmy list                     # Show available models   shimmy discover                 # Refresh model discovery shimmy generate --name X --prompt "Hi"  # Test generation shimmy probe model-name         # Verify model loads

Windows

# RECOMMENDED: Use pre-built binary (no build dependencies required) curl -L https://github.com/Michael-A-Kuykendall/shimmy/releases/latest/download/shimmy.exe -o shimmy.exe # OR: Install from source (requires LLVM/Clang) # First install build dependencies: winget install LLVM.LLVM # Then install shimmy: cargo install shimmy --features huggingface

macOS

# Install dependencies brew install cmake rust # Install shimmy cargo install shimmy

安裝顯然不如 Ollama 省事兒，pip、node、docker 版本也都沒(méi)有

app更是沒(méi)有

實(shí)際拿它與 Ollama 對(duì)比，拉起 Qwen:0.5B，發(fā)起請(qǐng)求后

Ollama 內(nèi)存占用 473+，因?yàn)樗袉为?dú)的 app，所以會(huì)有額外內(nèi)存占用。

Shimmy 占用 461+

使用上更是毫無(wú)方便之處，必須搭配其他工具進(jìn)行簡(jiǎn)單測(cè)試

我唯一感興趣的是它會(huì)不會(huì)對(duì)并發(fā)更加友好

結(jié)果更是慘不忍睹

Ollama 之前我寫(xiě)過(guò)文章介紹，并發(fā)是無(wú)解的

好歹它至少還能跑，但是 Shimmy 單請(qǐng)求還正常

發(fā)起并發(fā)請(qǐng)求之后，就大量 ERROR 了

最終測(cè)試失敗告終