NIXL调研：面向LLM推理的数据搬运层
1. 先说结论 版本说明：本文参考的是2026-05-13访问的ai-dynamo/nixl官方仓库、NIXL overview、Backend Guide、Python API、NIXLBench文档和GitHub Release v1.1.0。截至本文写作时，GitHub最新正式release是v1.1.0，发布时间是2026-05-12。NIXL仍在快速演进，尤其是backend、Pytho
BalanceRoute论文详解：LLM Serving里的DP负载均衡瓶颈
论文：Tackling the Data-Parallel Load Balancing Bottleneck in LLM Serving: Practical Online Routing at Scale 作者：Tianci Bu, Yuan Lyu, Zixi Chen, Chendong Song, Hong Liang, Tsepten Gurung, Yuwei Fan, Yiny
Hogwild! Inference论文调研
论文：Hogwild! Inference: Parallel LLM Generation via Concurrent Attention 作者：Gleb Rodionov, Roman Garipov, Alina Shutova, George Yakushev, Erik Schultheis, Vage Egiazarian, Anton Sinitsin, Denis Kuzned
CUDA Graph深入浅出：从Launch Overhead到PyTorch实战
1. 先说结论 版本说明：本文写于2026-05-12，主要参考NVIDIA CUDA Programming Guide v13.2的CUDA Graphs章节、NVIDIA技术博客，以及PyTorch当前main文档里的CUDA semantics。CUDA Graph本身比较稳定，但不同CUDA Toolkit、驱动、GPU架构和框架版本的性能细节会变化，所以生产环境要以本机实测为准。 C
MTP机制详解：从多token预测到投机解码
1. 先说结论 版本说明：本文写于2026-05-12，主要参考DeepSeek-V3技术报告、DeepSeek-V3官方权重说明、Gloeckle等人的Multi-token Prediction论文、Leviathan等人的Speculative Decoding论文，以及Google在2026-05-05发布的Gemma 4 MTP文档。MTP相关工程实现仍在快速变化，尤其是推理框架对MTP
主流开源大模型参数规模调研
本文重新整理截至 2026-05-09 的主流开源/开放权重大模型参数规模、模型大小、上下文长度、许可证和部署取舍。本文只把能在官方博客、官方 API 文档、官方 Hugging Face 组织或技术报告中核到的模型写进主表；社区传闻、路由商别名和第三方镜像不作为主依据。 先说结论 2026 年上半年的开放模型变化很明显：大厂开放模型已经从 7B/70B dense 时代，进入“超大总参数 +
KVFlow论文调研
论文：KVFlow: Efficient Prefix Caching for Accelerating LLM-Based Multi-Agent Workflows 作者：Zaifeng Pan, Ajjkumar Patel, Zhengding Hu, Yipeng Shen, Yue Guan, Wan-Lu Li, Lianhui Qin, Yufei Ding 版本：arXiv:
Agentic场景下的KV Cache复用与Agent工作流详解
1. 先说结论 版本说明：本文写于2026-05-08，参考的是当天可访问的公开资料，包括Anthropic Prompt Caching文档、Claude Code官方文档、OpenAI Prompt Caching文档、vLLM Automatic Prefix Caching设计文档、SGLang/LMCache公开文档，以及一些论文和公开社区讨论。Claude Code存在社区逆向和泄露源