美团LongCat-2.5正式开源:支持商用,长序列微调吞吐提升86%
LongCat-2.5,这次把模型权重也交到了开发者手里。
继此前发布模型后,美团近日正式开源 LongCat-2.5,采用MIT协议,支持商用推理部署与二次训练,无需额外申请商业授权。
这款原生多模态模型拥有1.6万亿总参数,每个Token激活约480亿参数,支持百万Token上下文,主要面向复杂代码开发、视觉编程和长程智能体任务。
不过,这次开源的看点不只是参数规模。
美团同时披露了国产算力上的工程优化:在官方测试的长序列监督微调任务中,经过优化的FSDP配置,按单卡统计的吞吐量比DDP基线提升86%。
从开放权重到训练与推理优化,这次更值得关注的是:万亿参数模型,怎样变得更容易部署和继续训练。
MIT协议开放,开发者可以接着训练,也可以用于商业服务
对于开发团队来说,模型能力之外,授权范围同样影响能不能真正投入项目。
LongCat-2.5此次将模型权重以MIT协议开放,允许在许可条件下使用、修改和再分发。美团明确表示,商用推理部署和二次训练不需要额外授权。
这意味着,有相应算力和开发能力的团队,可以在自己的环境中部署模型,也可以根据专业数据继续微调,而不必只依赖在线API。
当然,MIT并不是不需要遵守任何条件,使用和分发时仍需保留相应的版权声明与许可文本。
这次降低的首先是使用与二次开发的授权门槛,并不是让训练和部署成本自动归零。
模型权重已经上线Hugging Face:
https://huggingface.co/meituan-longcat/LongCat-2.5吞吐提升86%,关键在于让多张计算卡少等待、少浪费显存
这次最亮眼的数字,是长序列SFT单卡吞吐提升86%。
SFT指监督微调,也就是通过示例数据,进一步训练模型完成特定任务。输入内容越长,对显存和设备之间的数据传输要求也越高。
美团面对的一个现实条件,是所用国产AI加速器的单卡显存不足80GB。要承载如此大规模的模型,不能只靠增加计算任务,还需要合理分配模型参数和训练状态。
LongCat-2.5采用FSDP双重分片,将相关数据分散到多张卡上处理,同时调整并行策略,尽量让大量通信留在高速互联范围内。
参数预取、零拷贝通信和计算通信重叠,则进一步减少数据搬运与等待时间。
可以把它理解为:不是让每张卡各自背着全部负担,而是把工作和数据分配得更合理,让计算资源少一些空等。
按照官方披露,上述配置在长序列SFT任务中的单卡吞吐量,较DDP基线提升86%。
这里的“单卡吞吐”,是多卡训练中按每张卡统计的效率,不代表一张卡就能训练整个万亿参数模型,也不是日常聊天速度提升86%。
它展示的是一套具体训练配置的改善,而不是所有硬件、所有任务都能直接套用的收益。
推理也做了减负:W4A4减少计算与数据传输开销
训练之外,模型上线后能否高效运行,同样重要。
LongCat-2.5采用W4A4推理方案,将专家部分的权重与激活量化到4比特,并结合原生INT4计算单元执行运算。
这项优化不只是压缩权重,还涉及数据在专家之间如何传输、如何打包,以及计算与通信怎样配合。
对于大规模MoE模型,如果数据搬运耗时过长,即使计算单元足够快,也可能无法充分发挥性能。
因此,美团将量化、底层算子和推理流程放在一起优化,减少重复转换和传输开销。官方表示,在已经评测的下游任务中,量化后的表现与量化前相当。
训练侧通过分片提高资源利用率,推理侧通过低精度计算减少开销,两部分解决的是不同阶段的问题。
完整技术说明:
https://longcat.ai/blog/longcat-2.5/原生多模态与长程任务,决定这些效率最终用在哪里
LongCat-2.5并不是只为了更高效地回答文字问题。
它将视觉信息转换为多层级离散Token,与文本一起交给模型主干处理,重点加强视觉理解与代码生成之间的衔接,面向网页交互、创意设计和3D等任务。
长程任务方面,美团加入了更多连续执行轨迹,还将真实Agent的失败过程转化为可复现、可验证的训练任务。
这种训练关注的,不只是第一段代码写得对不对,还包括模型能否根据工具反馈继续修改,以及是否陷入重复思考、反复调用工具的低效循环。
对于开发者来说,开源后的价值也更具体了:不仅能够调用模型,还能围绕自己的任务数据继续训练,研究怎样让它更适合现有工程和工作流程。
但百万Token上下文和较少的激活参数,并不意味着这是一款轻量模型。完整权重、缓存和执行环境仍然需要相应资源,实际部署要根据硬件与业务需求评估。
美团官方开源介绍:
https://tech.meituan.com/2026/11/10/Meituan-LongCat-2.5-Open-Source.html这次LongCat-2.5开源,把三个重点放到了一起:MIT授权让开发者能够继续使用和改造,原生多模态提供能力基础,训练与推理优化则减少实际运行中的资源浪费。
对需要定制模型的团队而言,这比单纯增加一个在线聊天入口更有意义。
万亿参数决定了模型规模,但能否把这些参数高效地训练起来、部署出去,并完成真实任务,才决定它能走多远。
标签






评论 0
最新评论登录后发布评论并参与互动。
暂无评论,欢迎抢沙发。