小露当码农 · 个人学习与作品网站
以 Django 构建可维护的内容后台与个人作品展示，记录文档发布、天气定位、模型接入和部署中的实践。
个人职责：需求与内容规划、使用反馈；与 AI 编程助手协作实现与部署
Django · PostgreSQL · Nginx · Markdown · Open-Meteo · Z.ai
阅读项目案例 ↗SELECTED WORK / 精选作品
从想法到实现.
项目的目标、实现过程与当前边界，都在这里。
LEARNING PATHS / 学习专题
沿着问题继续读.
LATEST WRITING / 最近更新
学习与思考.
记录理解的变化，也保留尚未解决的问题。
从这里开始
RTX 3050 4GB 实验记录 vLLM 服务与 DeepSpeed 单卡训练在自己的 4GB 显卡上验证 KV 存储、vLLM 并发与前缀缓存，以及 DeepSpeed 训练和梯度累积。公开原始数据、固定配置、复现脚本与遇到的兼容问题。vLLM 与 DeepSpeed 学习路线 从推理服务到训练系统先分清推理和训练，再理解 KV Cache、连续批处理和 ZeRO，最后用小实验连接到 Agentic RL。四篇笔记组成一条可以持续补充的学习路线。从 Agent 到 Agentic RL 的学习主线从工具调用、交互轨迹到奖励与策略学习，整理 Agent 的基本问题，也为后续项目和实验确定一条学习主线。01
RTX 3050 4GB 实验记录 vLLM 服务与 DeepSpeed 单卡训练
在自己的 4GB 显卡上验证 KV 存储、vLLM 并发与前缀缓存，以及 DeepSpeed 训练和梯度累积。公开原始数据、固定配置、复现脚本与遇到的兼容问题。
02
vLLM 与 DeepSpeed 入门实验 连接到 Agentic RL
从本地小模型服务和双卡微型训练开始，给出可复用的代码、实验变量和记录表，再梳理生成轨迹、训练更新与权重同步的系统边界。
03
DeepSpeed 与 ZeRO 训练显存到底花在哪里
从参数、梯度和 Adam 状态拆开训练显存，用四卡分工理解 ZeRO 1、2、3，并通过一张理论估算图看清节省来自哪里。
04
vLLM 推理原理 从 KV Cache 到分页与连续批处理
用共享书架和排队的例子理解 KV Cache、PagedAttention 与连续批处理，再手算上下文长度和 KV 头数怎样影响显存。
05
vLLM 与 DeepSpeed 学习路线 从推理服务到训练系统
先分清推理和训练，再理解 KV Cache、连续批处理和 ZeRO，最后用小实验连接到 Agentic RL。四篇笔记组成一条可以持续补充的学习路线。
06
从 Agent 到 Agentic RL 的学习主线
从工具调用、交互轨迹到奖励与策略学习，整理 Agent 的基本问题，也为后续项目和实验确定一条学习主线。
ABOUT XIAOLU