{"id":"2000732","slug":"rss-8ed6b05dff6252","title":"美团正式发布 LongCat-2.5：面向智能体任务的原生多模态模型","summary":"美团正式发布 LongCat-2.5，这是一个面向长程智能体任务的原生多模态模型。模型总参数量为 1.6 万亿，每个 token 激活约 480 亿参数，在 LongCat-2.0 的基础上进一步强化了原生视觉理解与智能体编程能力。\n\n新模型在长程智能体任务中有明显效果提升，这源于我们在长序列训练中加入了更多长程轨迹数据，并通过大规模长程强化学习，提升模型在复杂代码库开发、完整项目构建等任务中的端","topic":"大厂分享","kind":"doc","language":"zh-CN","source":"美团技术团队","source_url":"https://tech.meituan.com/2026/11/02/Meituan-LongCat-2.5.html","license":"原文版权，转载需授权","updated_at":"2026-11-07T13:55:30.258Z","word_count":6127,"url":"https://knowledgehub.wujiss.com/a/rss-8ed6b05dff6252","sections":[{"heading":"","text":"美团正式发布 LongCat-2.5，这是一个面向长程智能体任务的原生多模态模型。模型总参数量为 1.6 万亿，每个 token 激活约 480 亿参数，在 LongCat-2.0 的基础上进一步强化了原生视觉理解与智能体编程能力。 新模型在长程智能体任务中有明显效果提升，这源于我们在长序列训练中加入了更多长程轨迹数据，并通过大规模长程强化学习，提升模型在复杂代码库开发、完整项目构建等任务中的端到端工程能力。围绕数据合成、环境构建与跨 Harness 混合训练，我们持续扩展这条训练链路。此外，我们也将真实 Agent 的失败轨迹转化为可复现、可验证的训练任务，针对模型能力短板持续补充训练数据。 与此同时，LongCat-2.5 具备原生视觉理解能力，可将视觉信号表示为多层级离散 token，使主干模型以统一的 token 形式处理视觉与文本输入，在 Visual Coding 上表现出色，并支持创意设计和 3D 等任务。 这些升级背后，是持续演进的基础设施：我们优化了国产算力上的长上下文训练与 W4A4 推理，并通过训推数值一致性和长上下文 rollout 优化，支撑大规模长程 RL 的高效运行。 为直观呈现 LongCat-2.5 当前的能力水平，我们在下图中选取 GPT-5.5、GPT-5.6-Sol、Claude-Opus-4.8 和 Claude-Opus-5 进行对比。涵盖更多模型的详细评测结果见后文表格。 LongCat-2.5 将视觉信号表示为多层级离散 token，使主干模型以统一的 token 形式处理视觉与文本输入。这一设计融合了原生分辨率视觉离散化、离线视觉预处理，以及与主干模型联合学习的视觉 embedding，既能支持原生多模态融合，也简化了训练中的视觉计算与负载管理。 离散原生分辨率视觉 Transformer：为使视觉基元建模具备与语言建模类似的 token 级抽象，我们将视觉信号表示为多层级词表 token。沿用 LongCat-Next[1]的方法，对语义对齐编码器（Semantic-and-Aligned Encoder，SAE）产生的原生分辨率特征应用残差向量量化（Residual Vector Quantization，RVQ），解决视觉离散化的信息瓶颈。 图 1：原生分辨率视觉离散化——将不同分辨率的图像编码为离散 token 序列，并通过视觉解码器重建图像 离线视觉 token 预处理：为减少在线视觉计算和工作负载异构性，固定的 tokenizer 允许我们离线预计算并缓存视觉 token ID。主干模型因此直接处理预先分词的序列，简化长序列打包与切分，并改善分布式训练的负载均衡。 原生视觉表示：视觉码本 embedding 与主干模型联合学习。在平均激活参数约为 3B 的较小规模 MoE 模型上，初步验证显示，视觉与文本 embedding 在 t-SNE 可视化中呈交织分布，表明两者在共享语义空间中的融合。 图 2：视觉与文本 embedding 的 t-SNE 对比。右图为平均激活参数约 3B 的 MoE 模型上的验证结果 02 大规模智能体强化学习 RL scaling 是提升模型智能的关键步骤。我们为 LongCat-2.5 搭建了全面的 Agentic RL 训练链路，从数据、环境、算法和 Harness 等方面对长程任务进行大规模扩展。 图 3：面向长程任务的 agentic RL 训练链路，涵盖数据与环境、异步训练、奖励设计和混合训练 大规模数据合成与环境构建：我们构建可扩展的数据合成流水线，自动化生成训练任务、可交互环境和可验证的测试用例，数据来源涵盖 GitHub 公开仓库和内部真实场景的代码任务。对于筛选后的 PR 和关联 issue，利用 Agent 自动打标、合成环境，并进行 fail-to-pass（F2P）和 pass-to-pass（P2P）测试校验。在 RL 训练中，实时 rollout 的轨迹和通过率辅助我们进行二次数据打标和筛选，并基于假阴、假阳分析持续修正和扩充 F2P 测试用例，提高对任务功能描述的覆盖率，和验证信号的准确性。 异步强化学习与稳定性优化：我们采用 partial rollout 异步训练策略缓解长尾效率问题：每个 RL step 保持一定过采样率，凑齐批次后中断、保存未完成轨迹，并在下一采样阶段恢复。过采样率基于任务通过率调整，并过滤全对或全错的零梯度样本组，以保证有效梯度。Partial rollout 中，同一轨迹的 token 可能来自不同历史 checkpoint，带来样本陈旧性。为保证训练稳定性，我们裁剪采样时与当前训练时 logprob 的差异，并基于历史累计差异调整每个 token 的梯度贡献，限制陈旧性带来的梯度偏置；此外，从 infra 视角提供了训推一致性的优化方案。 Reward hacking 与输出行为优化：我们通过在任务环境中断网、清除 git 历史和文件缓存，并引入 LLM judge 监督轨迹，以限制模型的投机行为。在输出行为优化上，我们对重复思考和重复工具调用施加额外惩罚；对过度思考和长度增长过快的问题，则通过重新分配正样本中的 Reward 加以抑制。 混合训练与泛化：模型在 RL 中可自主学习和适配近似任务和 Harness。前置冷启阶段仅需覆盖少量适配 scaffold 用例，在 RL 阶段，通过跨多任务和跨 scaffold 的混合训练可显著提高模型泛化能力，并促进不同任务上的性能提升。 为将各领域能力融入主线模型，我们沿用 LongCat-2.0 的专家组机制，分别优化 Agent 能力、推理能力和交互体验，涵盖多轮任务执行、单轮推理、细粒度指令遵循，以及不牺牲有用性的安全防御。在 MOPD 中，学生模型在各领域任务中在线采样，领域专家通过采样结果上的全词表 KL 散度[2]训练学生。 样本既要反映学生的实际任务行为，也要让教师给出可信的学习信号。为限制分布偏移，先前工作将教师在 SFT 或 RL 阶段见过的轨迹拆为 per-turn prefix，作为学生采样的上下文。我们进一步将每轮教师回复按固定长度拆为 per-cut prefix，并将学生自采样的最大长度限制为该值，以处理单轮长回复中的分布偏移。 图 4：用于学生在线采样的 per-cut prefix 为控制计算与存储成本，同一教师轨迹的 prefix 被分为一组，送至同一推理引擎，共享 prefill 计算与 KV cache。训练时，以教师轨迹为树干、学生采样为分支构建树，结合 Tree Attention[3]，通过单次前传与反传完成同组所有样本的 OPD 训练，避免教师轨迹上的冗余计算与存储。 LongCat-2.5 在中训练和监督微调阶段均采用长序列训练。针对国产算力单卡显存不足 80 GB 的限制，训练系统重点优化显存开销，并围绕超节点架构设计并行策略。 LongCat-2.5 根据超节点拓扑配置并行组，FSDP 和 EP 并行度均与单个超节点的卡数一致，CP 并行度不超过该卡数，使参数 AllGather、专家 token AllToAll 和 KV AllGather 均在超节点内的高带宽互联域中完成。 混合词表并行在 DP 和 CP 联合并行域内对基础词嵌入层、LM head 和 N-gram 嵌入层进行分片，进一步降低显存占用。 针对大规模专家并行中的负载不均衡问题，LongCat-2.5 基于 MoonEP 引入阈值触发的动态专家复制机制。仅当 EP 负载不均衡程度达到预设阈值时才启用复制，以避免额外通信开销超过负载均衡收益，并防止路由 token 引发接收端显存溢出、通信操作引发发送端显存溢出。 提前图像 token 生成使训练计算图不再包含视觉编码器，简化了并行实现。利用已知的图像 token 数量，系统可以在数据打包和打散时预估各模态的负载比例，使各数据并行 rank 上的模态占比接近。 LongCat-2.5 引入双重分片 FSDP，模型参数在超节点内的 FSDP 域中分片，FP32 主权重和优化器状态则通过 HSDP 副本进一步跨 FSDP 域分片，在保持参数通信效率的同时，降低常驻显存。 参数、梯度和优化器状态统一组织为连续的扁平化缓冲区，支持非均匀分片和 Muon 优化器分片。同时，通过直接写入权重梯度、复用临时缓冲区，减少中间拷贝，降低峰值显存占用。 系统采用零拷贝 AllGather/ReduceScatter，消除默认通信算法引入的中间拷贝。EP 将 token 与路由概率打包传输，并采用基于 AIV 的通信实现，缓解 AICPU 任务展开瓶颈。参数预取使 AllGather 与计算重叠执行，同时控制与 CP 的资源竞争；ScMoE 则使 EP 通信与稠密分支计算重叠执行。 系统通过批量执行梯度操作、合并指标归约、CPU 绑核和 NUMA 感知调度，降低主机侧开销。 综合上述优化，该 FSDP 配置在长序列 SFT 任务中的单卡吞吐量较 DDP 基线提升 86%。 图 5：国产 AI 加速器上的长上下文训练 05 智能体强化学习基础设施 基于 IsoExec[4]、GLM-5[5] 和 XoRL[6]的工作，我们构建了生产级训推一致性方案，使训练、Prefill 和 Decode 可独立选择并行配置，在性能接近无损的同时，保持逐 token logprob 的 bitwise 一致。训推两端统一采用高效的 batch-invariant 算子并对齐框架计算逻辑，补齐 backward 支持。该方案已在实验和生产任务中默认启用，为算子与框架迭代提供统一的数值回归基准。针对因为不同并行方式导致的训推无法对齐的问题，我们在社区的方案上进一步扩展 TP 和 DCP 的训推一致性支持。 TP：以完整 K 维计算替代分段求和，性能接近无损。训练侧保留权重分片，通过权重 All-Gather 和输入 AlltoAll，独立完成完整 K 维 GEMM，无需对局部结果进行 Reduce-Scatter 求和。Prefill 沿用该方案；Decode 则将 o_proj/fc2 改为 column-parallel，通过输入 All-Gather、完整 K 维 GEMM 和输出 AlltoAll 完成计算，既避免每步聚合完整权重，也避免跨卡数值求和。 DCP：在训练与 Prefill 中复现 Decode 的累加路径。我们在训练 forward 和推理 Prefill 中接入配套的 sparse attention 算子，复现指定 DCP 配置下 Decode 的 KV 分块与归约顺序，对齐了三者的计算精度。 针对负载可控的长上下文多轮 rollout，我们采用 PD 分离，为 Prefill 和 Decode 分别选择合适的并行策略，并从缓存存储、跨层卸载和请求调度三个方面协同优化： 扩大有效缓存容量：Prefill 采用 QCP 按 token 分配计算、KVP 按页分散存储，避免 MLA 下 TP 切分带来的 KV 冗余。HiCache 在 KV 回迁显存后，释放无其他读取引用的主存副本，减少两级缓存重复占用；同时基于 Mooncake 重构权重管理与 Actor offload 方案，为 HiCache 释放更多内存。 通过跨层预取隐藏搬运开销：利用 LSA[7] 奇数层复用前一偶数层 top-k 索引的特点，将奇数层完整 KV 卸载至主存，显存仅保留小容量工作缓存。偶数层产生索引后，提前加载下一奇数层所需 KV，并与当前层后续计算重叠，在 TPOT 无损的情况下使 Decode KV 缓存容量接近翻倍。 通过容量感知调度避免重算雪崩：Router 根据 L1+L2 缓存容量和请求 token 总量控制请求放行，并优先推进完成度较高的 Group，尽早凑齐训练批次、释放缓存，避免多条长轨迹交替推进时反复淘汰彼此前缀，引发大规模重算。 图 6：所测长上下文负载的 Prefill/Decode 配置；在该场景下，P/D 实例配比 3:2 性能最优 06 W4A4 高效推理 针对 1.6T 级 MoE 模型，我们结合模型结构与国产 AI 加速器的硬件特性，围绕量化精度、底层算子与推理流水开展协同优化，构建 W4A4 高效推理方案。 该方案将专家权重与激活同时量化至 4 bit，并通过原生 INT4 矩阵乘法单元执行相应的矩阵计算。 在精度方面，以 FlatQuant 的可学习等价变换为基础，进一步优化 MoE 模型的量化精度，在已评测的各项下游任务上保持与量化前模型相当的表现。 在算子与数据路径方面，通过专家共享的输入变换，在 token 复制与分发前完成量化，使同一份 INT4 表示贯穿专家通信与计算。将变换、尺度计算、量化和打包融合到专用算子，并结合权重布局与转置访问优化，减少数据搬运和转换开销。 在系统层面，针对 prefill 与 decode 的执行特点，依据模型的数据依赖和硬件资源约束，优化计算与通信的流水重叠。 在线上压测中，相对 W8A8 INT8 基线，prefill 和 decode 吞吐分别提升 43.3% 和 42.77%，TTFT 和 TPOT 分别降低 15.91% 和 19.72%。在算子层面，GMM 相对 W8A8 实现平均 1.73× 加速。 详情参见官网技术博客：https://longcat.ai/blog/longcat-2.5。 [1] LongCat-Next 方法：https://arxiv.org/abs/2603.27538 [2] 全词表 KL 散度：https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash/blob/main/DeepSeek_V41_Tech_Report.pdf [3] Tree Attention：https://arxiv.org/pdf/1909.07606 [4] IsoExec：https://vllm.ai/blog/2026-08-21-isoexec [5] GLM-5：https://github.com/THUDM/slime/pull/2262 [6] XoRL：https://kiddyboots216.github.io/mismatch/ [7] LSA：https://arxiv.org/abs/2608.01662 注册认证即赠千万 token，老用户加赠五百万 token，新模型限时福利已上线！ 在线体验：https://longcat.chat API 接入：https://longcat.chat/platform/product"}],"text":"美团正式发布 LongCat-2.5，这是一个面向长程智能体任务的原生多模态模型。模型总参数量为 1.6 万亿，每个 token 激活约 480 亿参数，在 LongCat-2.0 的基础上进一步强化了原生视觉理解与智能体编程能力。 新模型在长程智能体任务中有明显效果提升，这源于我们在长序列训练中加入了更多长程轨迹数据，并通过大规模长程强化学习，提升模型在复杂代码库开发、完整项目构建等任务中的端到端工程能力。围绕数据合成、环境构建与跨 Harness 混合训练，我们持续扩展这条训练链路。此外，我们也将真实 Agent 的失败轨迹转化为可复现、可验证的训练任务，针对模型能力短板持续补充训练数据。 与此同时，LongCat-2.5 具备原生视觉理解能力，可将视觉信号表示为多层级离散 token，使主干模型以统一的 token 形式处理视觉与文本输入，在 Visual Coding 上表现出色，并支持创意设计和 3D 等任务。 这些升级背后，是持续演进的基础设施：我们优化了国产算力上的长上下文训练与 W4A4 推理，并通过训推数值一致性和长上下文 rollout 优化，支撑大规模长程 RL 的高效运行。 为直观呈现 LongCat-2.5 当前的能力水平，我们在下图中选取 GPT-5.5、GPT-5.6-Sol、Claude-Opus-4.8 和 Claude-Opus-5 进行对比。涵盖更多模型的详细评测结果见后文表格。 LongCat-2.5 将视觉信号表示为多层级离散 token，使主干模型以统一的 token 形式处理视觉与文本输入。这一设计融合了原生分辨率视觉离散化、离线视觉预处理，以及与主干模型联合学习的视觉 embedding，既能支持原生多模态融合，也简化了训练中的视觉计算与负载管理。 离散原生分辨率视觉 Transformer：为使视觉基元建模具备与语言建模类似的 token 级抽象，我们将视觉信号表示为多层级词表 token。沿用 LongCat-Next[1]的方法，对语义对齐编码器（Semantic-and-Aligned Encoder，SAE）产生的原生分辨率特征应用残差向量量化（Residual Vector Quantization，RVQ），解决视觉离散化的信息瓶颈。 图 1：原生分辨率视觉离散化——将不同分辨率的图像编码为离散 token 序列，并通过视觉解码器重建图像 离线视觉 token 预处理：为减少在线视觉计算和工作负载异构性，固定的 tokenizer 允许我们离线预计算并缓存视觉 token ID。主干模型因此直接处理预先分词的序列，简化长序列打包与切分，并改善分布式训练的负载均衡。 原生视觉表示：视觉码本 embedding 与主干模型联合学习。在平均激活参数约为 3B 的较小规模 MoE 模型上，初步验证显示，视觉与文本 embedding 在 t-SNE 可视化中呈交织分布，表明两者在共享语义空间中的融合。 图 2：视觉与文本 embedding 的 t-SNE 对比。右图为平均激活参数约 3B 的 MoE 模型上的验证结果 02 大规模智能体强化学习 RL scaling 是提升模型智能的关键步骤。我们为 LongCat-2.5 搭建了全面的 Agentic RL 训练链路，从数据、环境、算法和 Harness 等方面对长程任务进行大规模扩展。 图 3：面向长程任务的 agentic RL 训练链路，涵盖数据与环境、异步训练、奖励设计和混合训练 大规模数据合成与环境构建：我们构建可扩展的数据合成流水线，自动化生成训练任务、可交互环境和可验证的测试用例，数据来源涵盖 GitHub 公开仓库和内部真实场景的代码任务。对于筛选后的 PR 和关联 issue，利用 Agent 自动打标、合成环境，并进行 fail-to-pass（F2P）和 pass-to-pass（P2P）测试校验。在 RL 训练中，实时 rollout 的轨迹和通过率辅助我们进行二次数据打标和筛选，并基于假阴、假阳分析持续修正和扩充 F2P 测试用例，提高对任务功能描述的覆盖率，和验证信号的准确性。 异步强化学习与稳定性优化：我们采用 partial rollout 异步训练策略缓解长尾效率问题：每个 RL step 保持一定过采样率，凑齐批次后中断、保存未完成轨迹，并在下一采样阶段恢复。过采样率基于任务通过率调整，并过滤全对或全错的零梯度样本组，以保证有效梯度。Partial rollout 中，同一轨迹的 token 可能来自不同历史 checkpoint，带来样本陈旧性。为保证训练稳定性，我们裁剪采样时与当前训练时 logprob 的差异，并基于历史累计差异调整每个 token 的梯度贡献，限制陈旧性带来的梯度偏置；此外，从 infra 视角提供了训推一致性的优化方案。 Reward hacking 与输出行为优化：我们通过在任务环境中断网、清除 git 历史和文件缓存，并引入 LLM judge 监督轨迹，以限制模型的投机行为。在输出行为优化上，我们对重复思考和重复工具调用施加额外惩罚；对过度思考和长度增长过快的问题，则通过重新分配正样本中的 Reward 加以抑制。 混合训练与泛化：模型在 RL 中可自主学习和适配近似任务和 Harness。前置冷启阶段仅需覆盖少量适配 scaffold 用例，在 RL 阶段，通过跨多任务和跨 scaffold 的混合训练可显著提高模型泛化能力，并促进不同任务上的性能提升。 为将各领域能力融入主线模型，我们沿用 LongCat-2.0 的专家组机制，分别优化 Agent 能力、推理能力和交互体验，涵盖多轮任务执行、单轮推理、细粒度指令遵循，以及不牺牲有用性的安全防御。在 MOPD 中，学生模型在各领域任务中在线采样，领域专家通过采样结果上的全词表 KL 散度[2]训练学生。 样本既要反映学生的实际任务行为，也要让教师给出可信的学习信号。为限制分布偏移，先前工作将教师在 SFT 或 RL 阶段见过的轨迹拆为 per-turn prefix，作为学生采样的上下文。我们进一步将每轮教师回复按固定长度拆为 per-cut prefix，并将学生自采样的最大长度限制为该值，以处理单轮长回复中的分布偏移。 图 4：用于学生在线采样的 per-cut prefix 为控制计算与存储成本，同一教师轨迹的 prefix 被分为一组，送至同一推理引擎，共享 prefill 计算与 KV cache。训练时，以教师轨迹为树干、学生采样为分支构建树，结合 Tree Attention[3]，通过单次前传与反传完成同组所有样本的 OPD 训练，避免教师轨迹上的冗余计算与存储。 LongCat-2.5 在中训练和监督微调阶段均采用长序列训练。针对国产算力单卡显存不足 80 GB 的限制，训练系统重点优化显存开销，并围绕超节点架构设计并行策略。 LongCat-2.5 根据超节点拓扑配置并行组，FSDP 和 EP 并行度均与单个超节点的卡数一致，CP 并行度不超过该卡数，使参数 AllGather、专家 token AllToAll 和 KV AllGather 均在超节点内的高带宽互联域中完成。 混合词表并行在 DP 和 CP 联合并行域内对基础词嵌入层、LM head 和 N-gram 嵌入层进行分片，进一步降低显存占用。 针对大规模专家并行中的负载不均衡问题，LongCat-2.5 基于 MoonEP 引入阈值触发的动态专家复制机制。仅当 EP 负载不均衡程度达到预设阈值时才启用复制，以避免额外通信开销超过负载均衡收益，并防止路由 token 引发接收端显存溢出、通信操作引发发送端显存溢出。 提前图像 token 生成使训练计算图不再包含视觉编码器，简化了并行实现。利用已知的图像 token 数量，系统可以在数据打包和打散时预估各模态的负载比例，使各数据并行 rank 上的模态占比接近。 LongCat-2.5 引入双重分片 FSDP，模型参数在超节点内的 FSDP 域中分片，FP32 主权重和优化器状态则通过 HSDP 副本进一步跨 FSDP 域分片，在保持参数通信效率的同时，降低常驻显存。 参数、梯度和优化器状态统一组织为连续的扁平化缓冲区，支持非均匀分片和 Muon 优化器分片。同时，通过直接写入权重梯度、复用临时缓冲区，减少中间拷贝，降低峰值显存占用。 系统采用零拷贝 AllGather/ReduceScatter，消除默认通信算法引入的中间拷贝。EP 将 token 与路由概率打包传输，并采用基于 AIV 的通信实现，缓解 AICPU 任务展开瓶颈。参数预取使 AllGather 与计算重叠执行，同时控制与 CP 的资源竞争；ScMoE 则使 EP 通信与稠密分支计算重叠执行。 系统通过批量执行梯度操作、合并指标归约、CPU 绑核和 NUMA 感知调度，降低主机侧开销。 综合上述优化，该 FSDP 配置在长序列 SFT 任务中的单卡吞吐量较 DDP 基线提升 86%。 图 5：国产 AI 加速器上的长上下文训练 05 智能体强化学习基础设施 基于 IsoExec[4]、GLM-5[5] 和 XoRL[6]的工作，我们构建了生产级训推一致性方案，使训练、Prefill 和 Decode 可独立选择并行配置，在性能接近无损的同时，保持逐 token logprob 的 bitwise 一致。训推两端统一采用高效的 batch-invariant 算子并对齐框架计算逻辑，补齐 backward 支持。该方案已在实验和生产任务中默认启用，为算子与框架迭代提供统一的数值回归基准。针对因为不同并行方式导致的训推无法对齐的问题，我们在社区的方案上进一步扩展 TP 和 DCP 的训推一致性支持。 TP：以完整 K 维计算替代分段求和，性能接近无损。训练侧保留权重分片，通过权重 All-Gather 和输入 AlltoAll，独立完成完整 K 维 GEMM，无需对局部结果进行 Reduce-Scatter 求和。Prefill 沿用该方案；Decode 则将 o_proj/fc2 改为 column-parallel，通过输入 All-Gather、完整 K 维 GEMM 和输出 AlltoAll 完成计算，既避免每步聚合完整权重，也避免跨卡数值求和。 DCP：在训练与 Prefill 中复现 Decode 的累加路径。我们在训练 forward 和推理 Prefill 中接入配套的 sparse attention 算子，复现指定 DCP 配置下 Decode 的 KV 分块与归约顺序，对齐了三者的计算精度。 针对负载可控的长上下文多轮 rollout，我们采用 PD 分离，为 Prefill 和 Decode 分别选择合适的并行策略，并从缓存存储、跨层卸载和请求调度三个方面协同优化： 扩大有效缓存容量：Prefill 采用 QCP 按 token 分配计算、KVP 按页分散存储，避免 MLA 下 TP 切分带来的 KV 冗余。HiCache 在 KV 回迁显存后，释放无其他读取引用的主存副本，减少两级缓存重复占用；同时基于 Mooncake 重构权重管理与 Actor offload 方案，为 HiCache 释放更多内存。 通过跨层预取隐藏搬运开销：利用 LSA[7] 奇数层复用前一偶数层 top-k 索引的特点，将奇数层完整 KV 卸载至主存，显存仅保留小容量工作缓存。偶数层产生索引后，提前加载下一奇数层所需 KV，并与当前层后续计算重叠，在 TPOT 无损的情况下使 Decode KV 缓存容量接近翻倍。 通过容量感知调度避免重算雪崩：Router 根据 L1+L2 缓存容量和请求 token 总量控制请求放行，并优先推进完成度较高的 Group，尽早凑齐训练批次、释放缓存，避免多条长轨迹交替推进时反复淘汰彼此前缀，引发大规模重算。 图 6：所测长上下文负载的 Prefill/Decode 配置；在该场景下，P/D 实例配比 3:2 性能最优 06 W4A4 高效推理 针对 1.6T 级 MoE 模型，我们结合模型结构与国产 AI 加速器的硬件特性，围绕量化精度、底层算子与推理流水开展协同优化，构建 W4A4 高效推理方案。 该方案将专家权重与激活同时量化至 4 bit，并通过原生 INT4 矩阵乘法单元执行相应的矩阵计算。 在精度方面，以 FlatQuant 的可学习等价变换为基础，进一步优化 MoE 模型的量化精度，在已评测的各项下游任务上保持与量化前模型相当的表现。 在算子与数据路径方面，通过专家共享的输入变换，在 token 复制与分发前完成量化，使同一份 INT4 表示贯穿专家通信与计算。将变换、尺度计算、量化和打包融合到专用算子，并结合权重布局与转置访问优化，减少数据搬运和转换开销。 在系统层面，针对 prefill 与 decode 的执行特点，依据模型的数据依赖和硬件资源约束，优化计算与通信的流水重叠。 在线上压测中，相对 W8A8 INT8 基线，prefill 和 decode 吞吐分别提升 43.3% 和 42.77%，TTFT 和 TPOT 分别降低 15.91% 和 19.72%。在算子层面，GMM 相对 W8A8 实现平均 1.73× 加速。 详情参见官网技术博客：https://longcat.ai/blog/longcat-2.5。 [1] LongCat-Next 方法：https://arxiv.org/abs/2603.27538 [2] 全词表 KL 散度：https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash/blob/main/DeepSeek_V41_Tech_Report.pdf [3] Tree Attention：https://arxiv.org/pdf/1909.07606 [4] IsoExec：https://vllm.ai/blog/2026-08-21-isoexec [5] GLM-5：https://github.com/THUDM/slime/pull/2262 [6] XoRL：https://kiddyboots216.github.io/mismatch/ [7] LSA：https://arxiv.org/abs/2608.01662 注册认证即赠千万 token，老用户加赠五百万 token，新模型限时福利已上线！ 在线体验：https://longcat.chat API 接入：https://longcat.chat/platform/product"}