Kimi K3模型架构详解：KDA、Attention Residuals与Stable LatentMoE如何协同

版本说明：本文基于Moonshot AI官方Kimi K3技术报告、官方仓库3cb39df（报告更新于2026-08-06）、官方技术博客和部署文档整理。架构、训练和系统数据来自官方报告；带有“估算”“推导”字样的内容是本文根据公开维度计算的结果。本文没有复现2.8T模型的训练、1M上下文评测或多机推理，官方benchmark也不应直接等同于跨厂商、同预算、同harness的独立比较。 1. 先
笔记
#KV Cache #LLM #MoE #MLA #Kimi K3 #Moonshot AI #KDA #Attention Residuals

GB300与NVL72详解：从Blackwell Ultra芯片到72 GPU液冷机架

1. 先说结论 版本说明：本文按 2026-08-15 访问的 NVIDIA 官方 GB300 NVL72、Blackwell Architecture、NVLink、NVLink-C2C 和 ConnectX 资料整理。用户所说的“NV72”通常是 NVL72 的简称；NVIDIA 的正式产品名是 GB300 NVL72。如果这里的 NV72 指的是别的厂商内部型号，需要以具体型号为准。 先把
笔记
#GPU Cluster #NVIDIA #Blackwell #GB300 #NVL72 #AI Infrastructure #Inference

FastAFD详解：在Blackwell NVL72上拆分Attention与FFN的MoE推理系统

版本说明：本文基于Hao AI Lab于2026-07-06发布的FastAFD技术文章，以及2026-07-08的开源仓库commit 3c71619整理。GB200 NVL72上的1.35-1.45倍结果来自作者实测；Vera Rubin + LPX/LPU部分是建立在若干假设上的预测，不是硬件实测。本文没有本地复现多节点GB200实验。 1. 先说结论 FastAFD解决的是一个很具体、但
笔记
#LLM Inference #NVLink #CUDA Graph #MoE #FastAFD #Blackwell #DeepEP #DeepGEMM

vLLM Model Runner V2源码拆解：稳定状态、GPU输入准备与异步采样

版本说明：本文以2026-07-13拉取的vllm-project/vllm主分支源码4c81772为当前实现基线，以MRV2首次公开时的v0.18.0源码bcf2be9和2026-03-24官方博客为历史基线。MRV2仍在快速演进，文中的源码链接均固定到commit。官方性能数字来自发布博客，本文没有在本地复测GB200结果。 1 先说结论 Model Runner V2，简称MRV2，不是v
笔记
#LLM Inference #VLLM #CUDA #Speculative Decoding #Triton #Model Runner

TokenSpeed推理引擎剖析：面向Agentic Workload的调度、缓存与Kernel系统

本文基于2026-07-10拉取的lightseekorg/tokenspeed主分支源码c2a4cd6、官方文档、LightSeek发布文以及PyTorch官方博客整理。TokenSpeed还处在快速演进阶段，文中实现细节以该commit为准；尤其是调度、PD分离、MLA kernel和模型recipe后续都可能继续变化。 1 先说结论 TokenSpeed不是“又一个OpenAI兼容服务壳子
笔记
#KV Cache #LLM #CUDA #推理系统 #MoE #TokenSpeed

DeepSeek 技术栈详解：从模型架构到 WideEP、DSpark、DFlash、DeepGEMM

0. 先说结论 DeepSeek 相关技术栈不能只理解成“一个模型”。它更像一整套围绕 MoE 大模型训练与推理 做出来的系统工程： * 模型层：DeepSeek-V3 / V3.2 的核心是 MLA、DeepSeekMoE、辅助损失无关的负载均衡、MTP、DSA。 * 通信层：DeepEP 负责 MoE expert parallelism 里的 token dispatch / comb
笔记
#CUDA #推理系统 #DeepSeek #大模型 #MoE #Speculative Decoding

Z.ai Scaling Pain解析：超大规模Coding Agent推理里的状态一致性问题

版本说明：本文写于 2026-06-29，主要解析 Z.ai 在 2026-04-30 发布的《Scaling Pain：超大规模 Coding Agent 推理实践》。原文披露的是 GLM-5 系列在高并发、长上下文 Coding Agent 线上负载中遇到的异常输出排查过程，包括 PD 分离下的 KV Cache 复用竞态、HiCache 加载时序缺失，以及 LayerSplit 优化。本文不
笔记
#KV Cache #LLM Inference #Coding Agent #Speculative Decoding #SGLang #PD Disaggregation #HiCache

从文件系统基础到 ext4 与 XFS

本文只讨论文件系统本身，不依赖某个具体项目。以 Linux 上最常见的 ext4 和 XFS 为例，先从“文件系统到底在解决什么问题”讲起，再往下看 inode、目录、页缓存、extent、日志、空间分配和运维选型。 版本说明：本文基于 Linux kernel 文档中 ext4、XFS、page cache、writeback、VFS 相关文档，以及 man 手册中的常用工具行为整理。文件系统
Linux
#Linux #文件系统 #ext4 #XFS