FastAFD详解：在Blackwell NVL72上拆分Attention与FFN的MoE推理系统

版本说明：本文基于Hao AI Lab于2026-07-06发布的FastAFD技术文章，以及2026-07-08的开源仓库commit 3c71619整理。GB200 NVL72上的1.35-1.45倍结果来自作者实测；Vera Rubin + LPX/LPU部分是建立在若干假设上的预测，不是硬件实测。本文没有本地复现多节点GB200实验。 1. 先说结论 FastAFD解决的是一个很具体、但
笔记
#LLM Inference #NVLink #CUDA Graph #MoE #FastAFD #Blackwell #DeepEP #DeepGEMM

vLLM Model Runner V2源码拆解：稳定状态、GPU输入准备与异步采样

版本说明：本文以2026-07-13拉取的vllm-project/vllm主分支源码4c81772为当前实现基线，以MRV2首次公开时的v0.18.0源码bcf2be9和2026-03-24官方博客为历史基线。MRV2仍在快速演进，文中的源码链接均固定到commit。官方性能数字来自发布博客，本文没有在本地复测GB200结果。 1 先说结论 Model Runner V2，简称MRV2，不是v
笔记
#LLM Inference #VLLM #CUDA #Speculative Decoding #Triton #Model Runner

TokenSpeed推理引擎剖析：面向Agentic Workload的调度、缓存与Kernel系统

本文基于2026-07-10拉取的lightseekorg/tokenspeed主分支源码c2a4cd6、官方文档、LightSeek发布文以及PyTorch官方博客整理。TokenSpeed还处在快速演进阶段，文中实现细节以该commit为准；尤其是调度、PD分离、MLA kernel和模型recipe后续都可能继续变化。 1 先说结论 TokenSpeed不是“又一个OpenAI兼容服务壳子
笔记
#KV Cache #LLM #CUDA #推理系统 #MoE #TokenSpeed

DeepSeek 技术栈详解：从模型架构到 WideEP、DSpark、DFlash、DeepGEMM

0. 先说结论 DeepSeek 相关技术栈不能只理解成“一个模型”。它更像一整套围绕 MoE 大模型训练与推理 做出来的系统工程： * 模型层：DeepSeek-V3 / V3.2 的核心是 MLA、DeepSeekMoE、辅助损失无关的负载均衡、MTP、DSA。 * 通信层：DeepEP 负责 MoE expert parallelism 里的 token dispatch / comb
笔记
#CUDA #推理系统 #DeepSeek #大模型 #MoE #Speculative Decoding

Z.ai Scaling Pain解析：超大规模Coding Agent推理里的状态一致性问题

版本说明：本文写于 2026-06-29，主要解析 Z.ai 在 2026-04-30 发布的《Scaling Pain：超大规模 Coding Agent 推理实践》。原文披露的是 GLM-5 系列在高并发、长上下文 Coding Agent 线上负载中遇到的异常输出排查过程，包括 PD 分离下的 KV Cache 复用竞态、HiCache 加载时序缺失，以及 LayerSplit 优化。本文不
笔记
#KV Cache #LLM Inference #Coding Agent #Speculative Decoding #SGLang #PD Disaggregation #HiCache

从文件系统基础到 ext4 与 XFS

本文只讨论文件系统本身，不依赖某个具体项目。以 Linux 上最常见的 ext4 和 XFS 为例，先从“文件系统到底在解决什么问题”讲起，再往下看 inode、目录、页缓存、extent、日志、空间分配和运维选型。 版本说明：本文基于 Linux kernel 文档中 ext4、XFS、page cache、writeback、VFS 相关文档，以及 man 手册中的常用工具行为整理。文件系统
Linux
#Linux #文件系统 #ext4 #XFS

LMCache论文解析：把KV Cache变成企业级LLM推理的存储层

版本说明：本文基于 arXiv:2510.09665v2《LMCache: An Efficient KV Cache Layer for Enterprise-Scale LLM Inference》整理。论文 v1 提交于 2025-10-08，v2 修订于 2025-12-05。本文重点解析论文中的系统动机、架构设计、接口、性能优化、评测结果和生产经验，不讨论本地 PegaFlow 项目实现
笔记
#KV Cache #LLM Inference #SGLang #Disaggregated Serving #vLLM #LMCache