GentleCold's Blog

HiSparse 深度解析：论文、SGLang 实现与 vLLM Hybrid HiSparse

版本说明：论文部分基于 arXiv 2608.07009v1（2026-08-07）。SGLang 部分基于 upstream commit 41fb719c（2026-10-27），vLLM 部分基于 upstream commit 28974013（2026-10-27）。两个仓库里 HiSparse 都标为 experimental，类名、参数和约束只对这两个版本负责。 1. 先说结论 H

2026-10-28

笔记

#KV Cache #LLM Inference #vLLM #SGLang #CUDA #HiSparse #Sparse Attention #DSA

DeepInfer 源码解析：DeepSeek 自家推理引擎的调度、异步流水线与投机解码

版本说明：本文基于 deepseek-ai/DeepInfer 的 commit 774ce244（2026-10-20，仓库首次公开当天）。配套文档是仓库里的 inference_deployment_qa.md。文中的类名、默认值和常数只对这个版本负责。模型本身（CED、CSA2、FP4 KV、SWA Bounded Replay 的动机）在 DeepSeek-V4.1-Flash 架构详解

2026-10-20

笔记

#KV Cache #LLM Inference #DeepSeek #DeepInfer #DeepSeek-V4.1 #Speculative Decoding #Expert Parallelism #Scheduler

递归自我改进（RSI）调研：从智能爆炸假说到会改自己代码的 agent

说明：本文的 RSI 指 Recursive Self-Improvement（递归自我改进），资料截至 2026-10-16。实验室公布的内部数据（Anthropic、OpenAI、Google DeepMind）都是自报，第三方核验有限；少数 2026 年的新闻只找到二手报道，文中会标出。论文数字以 arXiv 原文为准。 1. 先说结论 RSI 指一个 AI 系统改进自己，而且改进后的版本

2026-10-16

笔记

#RSI #Recursive Self-Improvement #AI Agent #AI Safety #Self-Improvement #AI R&D Automation

AIConfigurator 深度解析：从算子数据库到 disagg 配置搜索的性能估算

版本说明：本文基于 ai-dynamo/aiconfigurator 的 commit f254959eb89e2f206b8f9a77051644d7c1cbdb89（2026-09-08）。文中的类名、函数名、常数和精度数字只对这个版本负责。仓库 README 已标明项目进入维护期，后续工作转向 AISimulate；本文仍按这个版本的代码解释它的设计。对应论文是 arXiv 2601.062

2026-10-16

笔记

#LLM Inference #AIConfigurator #Dynamo #Disaggregated Serving #Performance Modeling #vLLM #SGLang #TensorRT-LLM

SGLang HiCache 设计深度解析：从 GPU L1 到 L3 存储的 KV 生命周期

版本说明：本文基于 2026-09-11 拉取的 SGLang upstream，固定 commit 为 a4ff5634b82546679704c42c984d7f950203922e。文中的类名、函数名和参数只对这个版本负责。本文重点讨论 HiRadixCache、GPU/host 两级内存池和可选 L3 storage backend；统一缓存、Mamba/SSM、DSA 与 PD 分离会在

2026-09-23

笔记

#KV Cache #LLM Inference #SGLang #CUDA #Mooncake #HiCache #RadixAttention

DeepSeek Engram 详解：把静态知识从计算里拆出来

资料说明：本文于 2026-09-22 核对 DeepSeek-AI 与北京大学的论文 Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models，v2，该版修订于 2026-07-12。代码以 Engram 官方仓库的提交 fb7f84a 为准。文中区分论文实验、演示代码和工程估

2026-09-22

论文阅读

#LLM #推理系统 #DeepSeek #Engram #Conditional Memory #MoE

DeepSeek-V4.1-Flash 架构详解：CED、CSA2 与 890 字节 KV Cache

资料说明：本文以 DeepSeek-AI 发布的 DeepSeek_V41_Tech_Report.pdf 为主资料，模型仓库为 deepseek-ai/DeepSeek-V4.1-Flash。报告的主题是“Pushing the Limits of KV Cache Compression”，发布时间以仓库页面和报告版本为准。先说结论 DeepSeek-V4.1-Flash 的变化集中在一件

2026-09-11

论文阅读

#KV Cache #DeepSeek #DeepSeek-V4.1 #MoE #Flash #CSA2 #CED #多模态

SGLang Runtime 源码深度解析：一次请求如何穿过调度、KV Cache 与 GPU

版本说明：本文基于 2026-09-11 拉取的 SGLang upstream main，固定 commit 为 a4ff5634b82546679704c42c984d7f950203922e。源码更新很快，文中的函数名和调用关系只对这个 commit 负责。示例默认讨论生成模型、单个 scheduler、常规 CUDA 路径；LoRA、speculative decoding、DP atte

2026-09-11

笔记

#KV Cache #LLM Inference #SGLang #CUDA #Scheduler #HiCache #RadixAttention

FlexKV源码与技术点：把LLM推理的KV Cache扩展到CPU、SSD和远端

版本说明：本文以2026-09-04拉取的taco-project/FlexKV主分支提交016c2903b93a1002e1c50eaf17fb9a537e970b34为实现基线。FlexKV仍在快速演进，文中的功能和配置应以实际安装版本、GPU/驱动和推理框架版本为准。 1. 先说结论 FlexKV是一个面向大模型推理的KV Cache Store和多级缓存管理系统。它把原本只能放在GPU显

2026-09-08

笔记

#KV Cache #LLM Inference #vLLM #SGLang #RDMA #FlexKV #GDS

vLLM KV Connector 深入解析：Kimi K3 混合注意力之后，缓存协议改了什么

版本说明：本文按 2026-09-04 的 vLLM upstream main 整理，基线 commit 为 ae2d1ca。本地源码 checkout 是 f4b161d7，用于交叉验证 Kimi K3 的实现和较早的调用路径，不代表当前 main 的全部行为。KV connector API 仍由源码标记为 experimental，生产部署应以实际安装版本为准。 1. 先说结论先把问题

2026-09-04

笔记

#KV Cache #Disaggregated Serving #VLLM #Kimi K3 #NIXL #KV Connector #Hybrid Attention