KVFlow论文调研
论文：KVFlow: Efficient Prefix Caching for Accelerating LLM-Based Multi-Agent Workflows 作者：Zaifeng Pan, Ajjkumar Patel, Zhengding Hu, Yipeng Shen, Yue Guan, Wan-Lu Li, Lianhui Qin, Yufei Ding 版本：arXiv:
Agentic场景下的KV Cache复用与Agent工作流详解
1. 先说结论 版本说明：本文写于2026-05-08，参考的是当天可访问的公开资料，包括Anthropic Prompt Caching文档、Claude Code官方文档、OpenAI Prompt Caching文档、vLLM Automatic Prefix Caching设计文档、SGLang/LMCache公开文档，以及一些论文和公开社区讨论。Claude Code存在社区逆向和泄露源
IO基础：io_uring、NVMe测试指标与GPUDirect Storage
1. 先说结论 版本说明：本文参考的是2026-05-08访问的Linux man-pages io_uring(7)、fio官方文档和NVIDIA GPUDirect Storage cuFile API Reference。IO栈和GDS行为都和内核版本、文件系统、驱动、CUDA/GDS版本、NVMe拓扑强相关，实际测试要以本机环境为准。 这篇文章讲三件事： 1. Linux io_ur
DeepSeek DSA、DeepSeek V4与vLLM Hybrid KV Cache详解
1. 先说结论 版本说明：本文参考的是2026-05-08访问的公开资料，主要包括DeepSeek-V3.2-Exp技术报告、vLLM官方DeepSeek V4支持博文、vLLM latest Hybrid KV Cache Manager设计文档、Mamba论文和HuggingFace Transformers的DeepSeek V4文档。vLLM latest文档是developer prev
负载均衡策略与vLLM Router详解
1. 先说结论 版本说明：本文参考的是2026-05-08访问的vllm-project/router GitHub仓库和官方文档。这个项目仍在快速发展，具体参数、API和策略实现要以你实际部署的版本为准。 负载均衡的核心不是“平均分请求”这么简单，而是： 把请求分到最合适的后端，同时控制延迟、吞吐、缓存命中、故障隔离和扩缩容影响。 常见策略可以先这样理解： 策略核心思想优点缺点适合场景r
vLLM最新版调度系统与Continuous Batching详解
1. 先说结论 版本说明：本文参考的是2026-05-08访问的vLLM官方latest文档和API源码页面。vLLM文档明确提示latest是developer preview，不等同于latest stable release。因此生产环境要以你实际安装的vLLM版本为准，最好用： vllm serve --help 确认参数是否存在。 这篇文章讲vLLM最新版调度系统，重点是： 1
vLLM推理并行与MLA详解
1. 先说结论 版本说明：本文参考的是2026-05-08访问的vLLM官方latest文档。vLLM文档页面明确提示latest是developer preview文档，不等同于latest stable release；因此DCP、PCP、EP等参数和行为最好以你实际安装的vLLM版本为准。生产环境建议同时查对应版本文档或直接用vllm serve --help确认参数是否存在。 vLLM里
Ran-CLOCK论文调研
论文：Performance Analysis of the Randomized SIEVE/CLOCK Cache Replacement Algorithm 作者：Yirong Wang, Peter Desnoyers, Benny Van Houdt 发表：Proc. ACM Meas. Anal. Comput. Syst., Vol. 10, No. 2, Article 49。