6月10日可信 Token 云服务研讨会在北京举办。清华大学翟季冬教授团队联合清程极智正式发布2026 年 5 月开源模型 Token 服务性能评测排行榜。本次评测覆盖 DeepSeek-V4-Pro、GLM-5.1、Kimi-K2.6、MiniMax-M2.7 四款主流开源模型以及国内 30 余家头部 Token 服务商用首字延迟、输出吞吐、缓存命中率三大核心指标客观呈现各家服务能力为全行业提供权威选型参考。当前 Token 服务市场规模飞速扩张行业也逐步形成底层生产层、中层中转层、顶层调度层的三层架构体系。底层算力集群提供基础 Token 产能中转层整合分散资源统一对外服务而顶层调度层则依靠专业评测与智能调度优化全链路流转效率。但在快速发展过程中行业乱象也随之显现同款开源模型经不同服务商落地后性能表现差距巨大输出吞吐最高相差 4.9 倍首字延迟最大差距达 4.3 倍部分服务商短期跑分数据亮眼长期稳态运行却频繁出现卡顿、慢响应多轮对话场景下缓存能力参差不齐直接影响使用体验与运营成本。想要推动三层架构协同发展、提升全链路服务质量首先就需要一套统一、科学的评测标准摸清各家服务商的真实水平。为此本次评测依托 AI Ping 专业体系打破传统单次 “跑分” 的局限打造公平、严谨的评测规则统一基准所有参测服务商使用相同模型、相同提示词、相同测试时间窗口保障对比公平长期稳态评测采用持续监测模式搭配多地区分布式服务器开展测试数据更贴合真实线上运行场景参考价值更高三大核心指标以首字延迟TTFT P90 衡量响应速度、输出吞吐TPS 衡量生成效率、缓存命中率衡量使用成本全面覆盖业务核心需求。本次榜单针对四款主流开源模型完成专项测评涉及阿里云百炼、百度智能云、火山方舟、智谱、DeepSeek、Moonshot AI、讯飞星辰等众多知名服务商不同模型、不同梯队的性能特征清晰分明。一、DeepSeek-V4-Pro综合性能均衡服务稳定性突出该模型综合适配各类通用场景各家服务商整体表现稳健。首字延迟头部服务商最低仅 0.673 秒前五名均控制在 1.025 秒以内即时响应能力优秀输出吞吐榜首达到 42.15 tokens/s梯队间差距较小整体生成效率稳定缓存命中率前五名均高于 92.4%最高达 93.46%在多轮对话场景中表现可靠二、GLM-5.1头部优势断层服务商能力分化明显本次测评中该模型不同服务商之间性能差距最大。首字延迟第一名低至 0.534 秒第五名达到 2.196 秒响应速度差距显著输出吞吐榜首吞吐高达 86.94 tokens/s几乎是第二名的两倍领先优势突出缓存命中率头部梯队维持在 92% 以上后续梯队快速下滑最低仅 80.34%对企业成本影响较大。三、Kimi-K2.6吞吐能力强劲实时交互体验佳模型主打实时交互与综合推理头部服务商综合表现亮眼。首字延迟前五名区间为 0.973 秒 - 1.660 秒可满足日常实时对话需求输出吞吐第一名突破 81.80 tokens/s内容输出速度表现强劲缓存命中率前三家均高于 90%最高 93.44%四、MiniMax-M2.7缓存能力领跑适配高频多轮对话该模型主打多轮对话场景全梯队缓存命中率表现亮眼。首字延迟整体数值偏高前五名在 2.153 秒 - 3.142 秒区间整体表现良好。输出吞吐梯队分层清晰第一名达 80.56 tokens/s生成效率不俗高缓存命中率有效控制使用成本榜单前三超 93.47%前五最低达 92.2%适配高频多轮对话场景。翟季冬教授表示“Token 服务三层架构中底层算力、中层资源整合能力最终都会体现在终端服务指标上。即便是同款模型服务商的工程优化、集群调度、缓存策略等能力都会直接影响延迟、吞吐、命中率等核心数据。在大规模、高并发的生产环境中细微的性能差距都会被放大直接影响用户体验与企业成本。本次发布的排行榜不仅是对当前 Token 服务市场的一次全面摸底更希望以标准化评测为抓手引导底层、中转层服务商持续优化技术能力同时为顶层调度层提供可靠的数据支撑推动整个三层架构高效协同运转。”从盲目选型转向数据驱动从单次测评升级为长期稳态监测这份开源模型 Token 服务性能排行榜是清程极智联合清华大学依托中国信通院可信 Token 云服务标准体系深耕行业评测的重要成果。本次大会同步发布了多家厂商共同参与的《Token 云服务提质赋能计划》。未来清程极智将持续开展常态化测评不断丰富测评模型与服务商矩阵为该计划落地提供客观、权威的数据支撑。