北京
vLLM 0.11.2正式版已發(fā)布
https://github.com/vllm-project/vllm/releases
0.11.0之后 徹底移除V0引擎
0.11.1之后 默認CUDA更新至12.9.1
vLLM 0.11.2 官方Docker鏡像也已發(fā)布
https://hub.docker.com/r/vllm/vllm-openai/tags
支持linux的amd64和arm64架構
Docker官方也在與vLLM高度結合
Docker Model Runner 集成了vLLM
簡單看了一下，有點使用Ollama的感覺
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
