hands-on

vLLM 初体验

vLLM 1. 传统内存分配的痛点（为什么浪费严重） KV Cache 需要连续大块内存 ：自回归生成时，序列长度动态增长 → 必须提前预分配一大段连续显存。 两大碎片化问题 ： 内部碎片 ：预分配过多，实际用不完的部分空闲浪费。 外部碎片 ：请求结束释放后，显存出现很多小空洞 → 无法放入新的大请…