vLLM Model Runner V2源码拆解：稳定状态、GPU输入准备与异步采样

版本说明：本文以2026-07-13拉取的vllm-project/vllm主分支源码4c81772为当前实现基线，以MRV2首次公开时的v0.18.0源码bcf2be9和2026-03-24官方博客为历史基线。MRV2仍在快速演进，文中的源码链接均固定到commit。官方性能数字来自发布博客，本文没有在本地复测GB200结果。 1 先说结论 Model Runner V2，简称MRV2，不是v
笔记
#LLM Inference #VLLM #CUDA #Speculative Decoding #Triton #Model Runner

TokenSpeed推理引擎剖析：面向Agentic Workload的调度、缓存与Kernel系统

本文基于2026-07-10拉取的lightseekorg/tokenspeed主分支源码c2a4cd6、官方文档、LightSeek发布文以及PyTorch官方博客整理。TokenSpeed还处在快速演进阶段，文中实现细节以该commit为准；尤其是调度、PD分离、MLA kernel和模型recipe后续都可能继续变化。 1 先说结论 TokenSpeed不是“又一个OpenAI兼容服务壳子
笔记
#KV Cache #LLM #CUDA #推理系统 #MoE #TokenSpeed

DeepSeek 技术栈详解：从模型架构到 WideEP、DSpark、DFlash、DeepGEMM

0. 先说结论 DeepSeek 相关技术栈不能只理解成“一个模型”。它更像一整套围绕 MoE 大模型训练与推理 做出来的系统工程： * 模型层：DeepSeek-V3 / V3.2 的核心是 MLA、DeepSeekMoE、辅助损失无关的负载均衡、MTP、DSA。 * 通信层：DeepEP 负责 MoE expert parallelism 里的 token dispatch / comb
笔记
#CUDA #推理系统 #DeepSeek #大模型 #MoE #Speculative Decoding

Z.ai Scaling Pain解析：超大规模Coding Agent推理里的状态一致性问题

版本说明：本文写于 2026-06-29，主要解析 Z.ai 在 2026-04-30 发布的《Scaling Pain：超大规模 Coding Agent 推理实践》。原文披露的是 GLM-5 系列在高并发、长上下文 Coding Agent 线上负载中遇到的异常输出排查过程，包括 PD 分离下的 KV Cache 复用竞态、HiCache 加载时序缺失，以及 LayerSplit 优化。本文不
笔记
#KV Cache #LLM Inference #Coding Agent #Speculative Decoding #SGLang #PD Disaggregation #HiCache

从文件系统基础到 ext4 与 XFS

本文只讨论文件系统本身，不依赖某个具体项目。以 Linux 上最常见的 ext4 和 XFS 为例，先从“文件系统到底在解决什么问题”讲起，再往下看 inode、目录、页缓存、extent、日志、空间分配和运维选型。 版本说明：本文基于 Linux kernel 文档中 ext4、XFS、page cache、writeback、VFS 相关文档，以及 man 手册中的常用工具行为整理。文件系统
Linux
#Linux #文件系统 #ext4 #XFS

LMCache论文解析：把KV Cache变成企业级LLM推理的存储层

版本说明：本文基于 arXiv:2510.09665v2《LMCache: An Efficient KV Cache Layer for Enterprise-Scale LLM Inference》整理。论文 v1 提交于 2025-10-08，v2 修订于 2025-12-05。本文重点解析论文中的系统动机、架构设计、接口、性能优化、评测结果和生产经验，不讨论本地 PegaFlow 项目实现
笔记
#KV Cache #LLM Inference #SGLang #Disaggregated Serving #vLLM #LMCache

详细理解 Prometheus 和 Grafana 看板

资料说明：本文根据 2026-06-08 可访问的 Prometheus 与 Grafana 官方文档整理。Prometheus/Grafana 的基础模型很稳定，但具体版本、UI 菜单、云服务能力会持续变化，实际部署时仍应以官方文档为准。 先说结论 Prometheus 和 Grafana 经常一起出现，但它们不是同一个东西： * Prometheus 负责采集、存储、查询和告警“指标数据
笔记
#Prometheus #Grafana #Observability #Monitoring