北京
關于 vLLM，我之前寫過不少：
今天 vLLMv0.17.0 正式發布
十大核心亮點速覽
我從 Release Notes 里提煉了 v0.17.0 最值得關注的十大核心亮點，按重要程度排列：
1?? FlashAttention 4 集成
這可能是這個版本最讓人興奮的更新。vLLM 現在正式支持FlashAttention 4 后端了。
FlashAttention 一路從 1 到 2 到 3，現在 4 也來了。每一代都在推動 attention 計算的效率極限。FA4 在前代基礎上又做了大量底層優化，對于長序列、大模型的推理性能提升顯著。
如果你在用 H100/H200 或者更新的 GPU 跑大模型推理，升級到 v0.17 應該能明顯感受到速度提升。
2?? Model Runner V2 里程碑：全面成熟
Model Runner V2 是 vLLM 下一代模型執行架構，在這個版本中達到了一個重要的成熟里程碑：
Pipeline Parallel（流水線并行）
Decode Context Parallel（解碼上下文并行）
Eagle3 推測解碼+ CUDA Graph
Pooling 模型支持
分段 & 混合 CUDA Graph 捕獲
DP+EP 推測解碼
全新 ModelState 架構
此外官方還發布了Model Runner V2 的設計文檔，對于想深入了解 vLLM 內部架構的同學，這是一份非常好的學習資料。
簡單來說，Model Runner V2 是 vLLM 的「心臟升級」。它讓 vLLM 在多卡、多節點、各種并行策略下的推理變得更加靈活和高效。
3?? Qwen3.5 全家桶支持
我之前介紹過的方法，vLLM一節都是用的nightly版（）
Qwen3.5 模型全系列在這個版本得到了完整支持，包括：
基于GDN（Gated Delta Networks）的全新架構
FP8 量化支持
MTP 推測解碼
推理解析器（reasoning parser）支持
這意味著你可以直接在 vLLM 上跑 Qwen3.5 的各種版本,享受推測解碼和量化加速的全套優化。
對于國內用戶來說，這可能是最實際的更新之一——Qwen3.5 是目前開源圈里最強的中文大模型之一，但是這一波 vLLM 有點慢了。
4??--performance-mode一鍵性能調優
這個功能太貼心了。之前部署 vLLM，性能調優需要手動設置一堆參數（batch size、調度策略等），對新手非常不友好。
現在只需要一個參數：
vllm serve your-model --performance-mode throughput
提供三種模式：
**
balanced**：均衡模式，適合大多數場景**
interactivity**：交互模式，優先降低首 token 延遲，適合聊天場景**
throughput**：吞吐模式，最大化吞吐量，適合批處理場景
不用再去查文檔翻參數了，一個 flag 搞定。這種把復雜度封裝起來的思路，我很喜歡。
5?? Anthropic API 兼容
vLLM 之前一直兼容 OpenAI API 格式，現在開始支持Anthropic API 兼容了：
thinking blocks（思考塊）支持count_tokensAPItool_choice=none選項streaming 和圖片處理修復
這意味著如果你的應用代碼之前是基于 Anthropic Claude API 寫的，現在可以無縫切換到本地 vLLM 部署的模型。API 兼容性做得越來越好，這對于降低遷移成本太重要了。
6?? 權重卸載 V2：預取技術隱藏延遲
對于顯存不夠用的同學，這個更新很關鍵。
v0.17 的權重卸載器引入了預取機制（Prefetching），可以在 GPU 計算的同時，把下一層的權重從 CPU 加載到 GPU，從而隱藏權重加載延遲。
此外還支持了：
選擇性 CPU 權重卸載：不用全部卸載，只卸載你指定的層
無需雙倍 pinned memory 的 CPU 卸載：省內存
這對于在消費級 GPU（3090、4090）上跑大模型的同學來說，是實打實的優化。
7?? 彈性專家并行 Phase 2
MoE（Mixture of Experts）模型是當前大模型的主流架構（DeepSeek-V3/V3.2、Qwen3 MoE、Llama 4 等），vLLM 在這個版本引入了彈性專家并行 Milestone 2。
核心能力：動態 GPU 縮放。
什么意思？就是你的 MoE 模型可以根據負載動態調整使用的 GPU 數量，負載低的時候少用幾張卡省錢，負載高的時候自動擴展。這對于生產環境的成本優化太重要了。
8?? 量化 LoRA 適配器直接加載
之前在 vLLM 上用 LoRA 微調后的模型，如果是量化版本（比如 QLoRA），需要各種周折才能加載。
現在，vLLM 可以直接加載量化 LoRA 適配器了。
這對于做 LoRA 微調 + 量化部署的工作流來說是個大利好。QLoRA 訓練完直接扔到 vLLM 里就能跑，中間環節省了。
9?? 推測解碼全面進化
推測解碼（Speculative Decoding）是加速 LLM 推理的關鍵技術，v0.17 在這方面做了大量優化：
Eagle3推測解碼支持 CUDA Graph，速度更快
Nemotron-HMTP 和 Mamba 推測解碼
Sparse MLA + MTP全 CUDA Graph 支持
DP+EP推測解碼（數據并行 + 專家并行）
Eagle3 支持disaggregated serving（分離式推理）
特別是 Eagle3 + CUDA Graph 這個組合，是這次推測解碼部分最值得關注的組合之一。
Kernel 層面的深度優化
這個版本在底層內核上做了大量「不起眼但很重要」的優化：
FlashInfer Sparse MLA后端
Triton top-k / top-p 采樣器內核
TRTLLM DSV3 Router GEMM 內核：batch-1 場景加速 6%
FA3 swizzle 優化
256-bit LDG/STG 激活內核
Helion 內核框架：自動調優基礎設施
這些優化可能單個看不起眼，但加在一起就是量變引起質變。實際測試中，DeepSeek R1 BF16 最低延遲 QKV GEMM 做到了0.5% 端到端加速，Pipeline Parallel 異步收發做到了2.9% 端到端吞吐提升，pooling maxsim 做到了13.9% 吞吐提升。
硬件支持：不止 NVIDIA
vLLM 越來越不是 NVIDIA 的專屬了。v0.17 在硬件支持上做了大量工作：
NVIDIA 方面：
SM100（Blackwell）FP8 MLA prefill 支持
SM100 MXFP8 塊級縮放分組矩陣乘法
SM120 FP8 GEMM 優化
FlashInfer DeepGEMM 在 SM90 上默認開啟 swapAB
AMD ROCm 方面：
AITER 融合 RoPE+KVCache
gfx950 上 MXFP4 MoE 權重預混洗
bitsandbytes 量化支持
CK（Composable Kernel）MoE 量化后端
Intel XPU 方面：
CUDA graph 支持終于來了
NIXL GPUDirect RDMA
CPU 方面：
ARM BF16 交叉編譯
s390x FP16 支持
同時支持 AVX2 和 AVX512 的 CPU 發行版
如果你是 AMD 或 Intel 的用戶，現在上 vLLM 的體驗已經好了很多。雖然和 NVIDIA 比還有差距，但差距在快速縮小。
ASR 模型支持：不只是 LLM 了
v0.17 有一個很有意思的變化——開始支持ASR（語音識別）模型了：
FunASR
FireRedASR2
Qwen3-ASR 實時流式識別
vLLM 從名字看是「vLLM」——Virtual LLM，但現在它的野心顯然不止于文本大模型。之前加了多模態（視覺、音頻），現在又加了 ASR，正在進化成一個全模態推理引擎。
升級注意事項
在你興沖沖跑去升級之前，說幾個需要注意的點：
1. PyTorch 2.10 升級（Breaking Change?。?/strong>
v0.17 升級到了 PyTorch 2.10，這是環境依賴的破壞性變更。如果你的環境依賴特定版本的 PyTorch，需要做好兼容性測試。
2. CUDA 12.9+ 已知問題
如果你在 CUDA 12.9+ 上遇到CUBLAS_STATUS_INVALID_VALUE錯誤，可以試試：
# 方法 1：清理 LD_LIBRARY_PATH
unset LD_LIBRARY_PATH
# 方法 2：uv 安裝
uv pip install vllm --torch-backend=auto# 方法 3：指定 CUDA 版本
pip install vllm --extra-index-url https://download.pytorch.org/whl/cu129
3. KV 緩存加載策略變更
KV load failure policy 默認值從recompute變為fail。如果你的部署依賴自動重算行為，需要手動設置回去。
安裝
安裝很簡單，一行命令：
uv pip install vllm
Docker 用戶：
docker pull vllm/vllm-openai:v0.17.0
docker run --gpus all \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--env "HF_TOKEN=$HF_TOKEN" \
-p 8000:8000 \
--ipc=host \
vllm/vllm-openai:v0.17.0 \
--model Qwen/Qwen3-0.6B
這是評論區最常被問到的問題之一。我簡單說下我的看法：
vLLM：更成熟，社區更大（GitHub 50k+ stars），硬件兼容性更好，企業級特性更豐富（pipeline parallel、disaggregated serving 等）。適合生產環境部署。
SGLang：在某些場景下性能更極致（特別是 DeepSeek 系列模型），API 更現代化。適合追求極致性能的場景。
兩者都是頂級的推理引擎，現在更像是Chrome vs Firefox的關系——競爭推動了整個行業的進步。
總結
vLLM v0.17.0 是一個里程碑式的版本。FlashAttention 4 集成、Model Runner V2 成熟、Qwen3.5 全面支持、一鍵性能調優、Anthropic API 兼容……幾乎每一個更新都是硬核的工程突破。
如果你正在做 LLM 推理部署，不管是研發還是生產環境，vLLM 依然是最值得關注的推理引擎之一。
.5
制作不易，如果這篇文章覺得對你有用，可否點個關注。給我個三連擊：點贊、轉發和在看。若可以再給我加個，謝謝你看我的文章，我們下篇再見！
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
