学习、实践与思考.

vLLM 推理原理 从 KV Cache 到分页与连续批处理

用共享书架和排队的例子理解 KV Cache、PagedAttention 与连续批处理，再手算上下文长度和 KV 头数怎样影响显存。