🥌vLLM 初体验

vLLM

vLLM

You are viewing the latest developer preview docs. Click here to view docs for the latest stable release.

https://docs.vllm.ai/en/latest/

API Server (FastAPI + Uvicorn)

• 功能： 作为 OpenAI 兼容的推理网关。

• 价值： 提供标准化的 HTTP 接口 (/v1/chat/completions)，允许所有支持 OpenAI 标准的客户端无缝接入，并利用 Uvicorn 的异步能力高效处理高并发请求。

高性能推理内核 (PagedAttention)

• 核心技术： PagedAttention KV Cache (分页注意力)。

• 价值： 借鉴操作系统分页机制，将 KV Cache 块进行逻辑与物理分离，实现 KV Cache 内存利用率最大化，并支持 KV 缓存块的共享与复用。这是 vLLM 高效节省显存的基石。

推理调度器 (Scheduler)

• 核心技术： Continuous Batching (连续批处理)。

• 价值： vLLM 的 异步推理调度系统。它动态地将新请求添加到正在处理的批次中，并支持抢占式调度 (Preemption)。这确保了 GPU 始终满载，实现了极高的 QPS 和流畅的 Token 输出。

「略」autoDL租赁机器

环境准备

conda准备

安装vllm和hf tools

模型下载

模型部署