1. 先说结论 版本说明：本文参考的是2026-05-08访问的公开资料，主要包括DeepSeek-V3.2-Exp技术报告、vLLM官方DeepSeek V4支持博文、vLLM latest Hybrid KV Cache Manager设计文档、Mamba论文和HuggingFace Transformers的DeepSeek V4文档。vLLM latest文档是developer prev

1. 先说结论 版本说明：本文参考的是2026-05-08访问的vllm-project/router GitHub仓库和官方文档。这个项目仍在快速发展，具体参数、API和策略实现要以你实际部署的版本为准。 负载均衡的核心不是“平均分请求”这么简单，而是： 把请求分到最合适的后端，同时控制延迟、吞吐、缓存命中、故障隔离和扩缩容影响。 常见策略可以先这样理解： 策略核心思想优点缺点适合场景r

1. 先说结论 版本说明：本文参考的是2026-05-08访问的vLLM官方latest文档和API源码页面。vLLM文档明确提示latest是developer preview，不等同于latest stable release。因此生产环境要以你实际安装的vLLM版本为准，最好用： vllm serve --help 确认参数是否存在。 这篇文章讲vLLM最新版调度系统，重点是： 1

1. 先说结论 版本说明：本文参考的是2026-05-08访问的vLLM官方latest文档。vLLM文档页面明确提示latest是developer preview文档，不等同于latest stable release；因此DCP、PCP、EP等参数和行为最好以你实际安装的vLLM版本为准。生产环境建议同时查对应版本文档或直接用vllm serve --help确认参数是否存在。 vLLM里

论文：Performance Analysis of the Randomized SIEVE/CLOCK Cache Replacement Algorithm 作者：Yirong Wang, Peter Desnoyers, Benny Van Houdt 发表：Proc. ACM Meas. Anal. Comput. Syst., Vol. 10, No. 2, Article 49。

资料： * Foyer: A Hybrid Cache in Rust - Past, Present and Future * Foyer docs.rs API * Foyer GitHub README 链接： * https://blog.mrcroxx.com/posts/foyer-a-hybrid-cache-in-rust-past-present-and-futur

论文：HaS: Accelerating RAG through Homology-Aware Speculative Retrieval 版本：arXiv:2604.20452v1, 2026-04-22 1. 背景 HaS讨论的是RAG系统里的检索延迟问题。 很多LLM推理优化关注prefill、decode、KV cache和attention kernel，但在真实RAG系统里，检索

论文：InfoFlow KV: Information-Flow-Aware KV Recomputation for Long Context 版本：arXiv:2603.05353v1, 2026-03-05 1. 背景 InfoFlow KV讨论的是长上下文RAG推理里的KV cache预计算和选择性重计算问题。 在RAG里，系统经常需要把大量检索文档拼到prompt前面。上下文可以达

论文：ScaleEvict: Altruistic Eviction for RDMA-enabled Distributed Storage Engines 作者：Till Steinert, Muhammad El-Hindi, Tobias Ziegler, Viktor Leis, Carsten Binnig 发表：DaMoN’26, 2026-05-31 至 2026-06-05

论文：Adaptive Layer Selection for Layer-Wise Token Pruning in LLM Inference 版本：arXiv:2601.07667v2, 2026-04-16 1. 背景 ASL讨论的是长上下文LLM推理中的layer-wise token pruning问题。它的直接上下文是FastKV、GemFilter、PyramidInfer这类