蚂蚁百灵一次开源 5 款 Ming-3.0 语音模型

AIGC资讯

2026-10-21浏览 223,864 字 · 约 13 分钟

…

蚂蚁百灵这次一次性把语音能力拆成了五款模型。

不是只做一个：

“把文字念出来”的 TTS。

而是把语音任务完整拆成了三层：

语音合成
→ AI应该怎么说

音频理解与对话
→ 这段声音发生了什么、表达了什么

语音识别
→ 人具体说了什么

对应的五款模型分别是：

Ming-3.0-tts-0.5B
→ 轻量语音合成

Ming-3.0-tts-tiny
→ 更强语音合成与多人播客

Ming-3.0-audio-tiny
→ 轻量音频理解与语音交互

Ming-3.0-audio-flash
→ 大型音频理解、推理与对话

Ming-3.0-asr-tiny
→ 中英文、方言及专业场景转写

开发者可以只选择一款完成单点任务，也可以把多款模型组合成完整语音工作流。Hugging Face

一、先看明白：五款模型分别负责什么

Ming-3.0-tts-0.5B：最轻量的声音创作模型

Ming-3.0-tts-0.5B 是一款 0.5B 稠密语音合成模型。

它支持：

声音克隆；

用文字设计音色；

自然语言控制表演方式；

情绪、语速、音高和音量控制；

中文、英文、德语、西班牙语、法语、韩语和日语；

四川话与粤语；

呼吸、叹气、咳嗽、笑声、犹豫等副语言效果。

官方还提供 100 多种中文内置音色和 5 种英文音色，输出采样率为 44.1kHz。Hugging Face

它更加适合：

短视频旁白；

有声书；

数字人配音；

游戏角色；

客服语音；

智能硬件；

低成本本地语音生成。

Ming-3.0-tts-tiny：增加多人对话与更强表达控制

Ming-3.0-tts-tiny 采用 MoE 架构，语言骨干总参数约 7.9B，每个 Token 激活约 1.3B 参数。

它拥有 0.5B 版本的大部分能力，同时额外支持：

多人对话和播客生成。

开发者可以提供不同角色的参考音频和台词脚本，让模型一次生成多人交流内容。

例如：

speaker_1：我们今天聊聊AI语音模型。
speaker_2：好，不过先解释一下它和普通TTS有什么区别。

模型会按照不同角色音色和台词关系，生成完整对话。Hugging Face

它更适合：

双人播客；

多人有声剧；

虚拟访谈；

角色短剧；

在线课程；

游戏剧情对白。

Ming-3.0-audio-tiny：不只听写，还能理解声音

Ming-3.0-audio-tiny 是一款紧凑型原生音频语言模型。

总参数约：

9.3B。

每步推理激活约：

2.7B。

它可以同时接收音频和文字指令，并完成：

语音识别；

语音问题回答；

音频内容理解；

音频推理；

非语音声音理解；

场景与音乐分析；

可选的语音回答。

换句话说，它不只会听出：

这个人说了什么。

还可以继续回答：

这段录音的核心观点是什么？

说话人情绪发生了什么变化？

背景中出现了哪些声音？

这段会议最终确认了哪些事项？ Hugging Face

Ming-3.0-audio-flash：面向更复杂的长音频任务

Ming-3.0-audio-flash 是这一系列中能力更强的音频理解模型。

它采用 MoE 架构：

126B 总参数。

每步激活约 6.5B。

输入为音频和文字指令，输出可以是文字，也可以进一步调用 Talker 生成语音回答。

官方模型卡明确列出的能力包括：

中英文及方言识别；

多人和噪声语音处理；

长音频理解；

非语音声音与声学场景分析；

音乐理解；

基于音频内容完成问答和推理。Hugging Face

它更适合：

长会议分析；

电话录音质检；

播客观点整理；

音频内容审核；

课程与访谈总结；

复杂语音 Agent；

音频事件与环境声音分析。

不过它也是明显的服务器级模型。官方提供的 128K 参考服务配置使用 8 张 80GB H800，不能把它理解成普通个人电脑可以轻松运行的桌面模型。Hugging Face

Ming-3.0-asr-tiny：专门负责稳定业务转写

Ming-3.0-asr-tiny 是约 9B 参数的语音识别模型，主要面向：

中文；

英文；

中文方言；

噪声语音；

专业术语；

业务录音。

它支持将热词、对话上下文或主题信息加入提示词，提高：

人名；

产品名；

医学词汇；

公司术语；

行业缩写

等内容的识别准确度。

官方还在 15 组地区方言测试集中进行评估，其中包括：

粤语；

闽南语；

上海话

等方言。Hugging Face

它比较适合：

会议转写；

客服录音；

采访整理；

课程字幕；

业务电话；

带专业词库的行业 ASR。

二、为什么不直接做一个“全能语音模型”？

因为不同语音任务需要的能力完全不同。

将一段文字读出来，主要考验：

音质；

韵律；

音色；

情绪；

节奏。

理解一段会议录音，则需要：

长音频上下文；

语义分析；

观点归纳；

问答推理。

业务转写又更加关注：

低错误率；

专业词汇；

方言；

噪声；

稳定输出。

如果所有任务都强制使用一款大型模型，会产生两个问题：

简单任务成本过高。

以及：

专业任务不够聚焦。

Ming-3.0 的思路更像是：

只需要快速配音
→ 使用TTS 0.5B

需要多人播客与更强表达
→ 使用TTS Tiny

需要轻量音频理解
→ 使用Audio Tiny

需要复杂长音频分析
→ 使用Audio Flash

只需要专业转写
→ 使用ASR Tiny

开发者可以根据任务复杂程度选择最合适的模型，而不是所有声音任务都调用同一款大型模型。

三、语音合成开始从“朗读”变成“表演”

传统 TTS 的工作方式通常是：

输入一段文字。

选择男声或女声。

模型把内容念出来。

Ming-3.0-tts 更强调：

这句台词应该怎么演。

用户可以通过自然语言描述：

声音年龄；

角色身份；

说话情绪；

语速变化；

哪些词需要重读；

哪里应该停顿；

整体应该冷静、愤怒还是兴奋。

例如：

用成熟稳重的男性纪录片旁白，吐字清晰，语速舒缓；前半段保持克制，讲到结论时稍微加重语气。

模型会尝试根据这段要求组织整句表达。

这比传统的：

emotion = happy
speed = 1.2

更加贴近导演和配音人员的工作方式。Ming-3.0-tts 官方将这种能力定义为自然语言 Free-form Control。GitHub

四、可以直接用文字“设计一个声音”

Voice Design 允许用户不提供参考音频，直接用文字描述目标音色。

例如：

20多岁的年轻女性，音色清亮，带一点亲切感，适合知识类短视频旁白。

或者：

低沉、克制的中年男性声音，适合悬疑故事，语速偏慢，尾音略带沙哑。

模型会根据文字描述生成相应声音。

另一种方式则是：

Zero-shot Voice Cloning。

用户提供一小段参考录音，模型再使用相似音色说出新的内容。

这两种方式解决的是不同需求：

Voice Design
→ 从零创造角色声音

Voice Cloning
→ 延续已有角色声音
``` :chatgpt-content-reference{index="11"}


---

## 五、连叹气、咳嗽和犹豫都能写进台词

Ming-3.0-tts 支持 14 种内联副语言标签。

包括：

呼吸；

咳嗽；

叹气；

笑声；

惊讶；

不满；

犹豫；

确认声；

疑问声。

例如：

```text
[Sigh] 雨还是没有停，
[Cough] 我们恐怕只能把活动改到室内了。

模型会将这些声音动作融入语音，而不是只把文字机械念出来。

这对角色配音、短剧、播客和游戏对白特别重要。

因为真人表达中，真正传递情绪的不只有文字，还包括：

停顿；

呼吸；

语气；

笑声；

犹豫；

声音动作。GitHub

六、Audio 模型听懂的不只是人声

Ming-3.0-audio-tiny 和 audio-flash 的能力范围，比普通 ASR 更广。

它们可以理解：

说话内容；

人物语气；

非语音声音；

音乐；

声学场景；

环境事件。

例如给模型一段工厂录音，可以问：

设备运行声音是否出现异常变化？

给一段视频声音，可以问：

第几秒开始出现掌声？

给一段会议录音，可以问：

哪些人支持这个方案，主要反对理由是什么？

给一段播客，可以问：

嘉宾的核心立场是什么？哪些观点存在冲突？

普通转写模型只能先把声音变成文字。

Audio 模型则直接围绕声音内容进行理解和推理。Hugging Face

七、长音频能力需要区分“本地模型”和“在线 API”

Ming-3.0-audio 系列明确支持长音频理解。

Ming-3.0-asr-tiny 的本地版本也可以将长音频分块编码，在模型上下文允许的范围内完成更长录音的转写。Hugging Face

但官方在线 ASR API 当前限制为：

音频格式
WAV、MP3

文件大小
不超过10MB

单次时长
不超过30秒

因此，开发者不能看到“模型支持长音频”，就直接认为在线 ASR 接口可以一次上传几小时会议录音。

真正处理长录音时，通常仍需要：

切分音频
↓
分段转写
↓
传入上一段上下文或热词
↓
合并结果
↓
再交给Audio模型总结和分析
``` :chatgpt-content-reference{index="15"}


---

## 八、ASR 当前不负责说话人分离和时间戳

`Ming-3.0-asr-tiny` 当前输出的是完整转录文本。

官方模型卡明确说明，它目前不提供：

词级时间戳；

说话人分离；

自动识别每句话是谁说的。

因此，一场多人会议需要得到：

```text
张三 00:01—00:12
“我们下周完成上线。”

李四 00:13—00:20
“测试还需要两天。”

还需要另外接入：

Speaker Diarization；

时间戳对齐；

会议角色识别

等能力。

Ming-3.0-asr-tiny 解决的是：

把语音识别成文本。

而不是完整替代会议转写系统中的全部组件。Hugging Face

九、开放权重和官方 API 是两套使用方式

这次五款模型的权重已经通过 Hugging Face、ModelScope 和 GitHub 开放，主要模型卡标注采用 MIT License。Hugging Face

开发者有两种主要使用方式。

方式一：自己部署开放权重

更适合：

私有数据；

本地语音处理；

模型研究；

二次开发；

自定义工作流；

企业私有化。

方式二：调用蚂蚁百灵 API

更加适合：

快速接入；

不管理 GPU；

在线产品；

原型验证；

弹性调用。

当前官方 API 主要提供：

Ming-3.0-tts
→ /v1/audio/speech

Ming-3.0-asr-tiny
→ /v1/audio/transcriptions

Ming-3.0-audio-flash
→ /v1/chat/completions

接口格式分别兼容 OpenAI 的语音合成、语音转写和 Chat Completions 协议。蚂蚁语言开发者平台

十、官方 TTS API 当前支持哪些能力？

官方 Ming-3.0-tts 接口支持：

系统音色；

自定义参考音色；

声音克隆；

自然语言声音控制；

语速、音量和音高设置；

流式音频输出。

当前单次输入文字最长为：

2048 字符。

自定义音色最多提供：

1 段 WAV 参考音频。

参考音频最长：

30 秒。

文件不超过：

10MB。

流式输出当前主要使用 SSE 返回。蚂蚁语言开发者平台

需要注意，在线 API 的模型 ID 是：

Ming-3.0-tts

并不是让用户直接选择：

Ming-3.0-tts-0.5B
Ming-3.0-tts-tiny

开放权重型号和托管 API 产品名称，不应该混为一谈。

十一、五款模型可以组合成完整语音 Agent

这次发布真正有意思的地方，是不同模型可以组合工作。

例如一套客服语音 Agent 可以这样搭：

Ming-3.0-asr-tiny
→ 将用户语音转成文字

Ming-3.0-audio-tiny / flash
→ 理解意图、情绪和上下文

业务系统
→ 查询订单、退款和售后信息

Ming-3.0-tts
→ 将处理结果自然地说给用户

一套会议系统则可以这样搭：

ASR Tiny
→ 完成语音转写

外部说话人分离模型
→ 区分参会者

Audio Flash
→ 总结观点、争议和结论

语言模型
→ 生成纪要与待办

TTS
→ 生成语音简报

对于播客和内容创作，则可以直接使用：

TTS Tiny
→ 多人播客与角色对白

Audio模型
→ 分析原始采访和长录音

ASR Tiny
→ 生成字幕与文字稿

十二、哪些人最适合关注？

短视频和播客创作者

可以使用 TTS 进行旁白、角色配音、多人播客和声音设计。

游戏和虚拟角色团队

可以根据角色设定创建不同音色，并控制情绪、方言和台词表演。

客服与会议产品

可以使用 ASR 完成业务转写，再用 Audio 模型进行总结、问答和质量分析。

智能硬件开发者

可以将语音识别、理解和合成串成完整语音交互链路。

企业音频分析团队

可以围绕会议、客服电话、采访和长录音构建私有化音频知识系统。

模型与推理研究团队

五款模型均提供开放权重和代码，可以继续研究量化、推理优化与语音 Agent 工作流。

十三、开放以后仍然需要注意声音安全

声音克隆和 Voice Design 会明显降低配音门槛。

但它们也会带来新的风险。

使用真人声音前，应该取得明确授权。

不能用模型：

冒充他人；

伪造客服或领导指令；

绕过身份认证；

制作误导性音频；

侵犯配音演员和公众人物权益。

企业产品还应该增加：

参考音频授权确认；

合成内容标识；

敏感人物限制；

生成日志；

水印或溯源；

高风险场景人工审核。

声音越接近真人，越需要清晰说明：

这是 AI 生成内容。

结语

蚂蚁百灵 Ming-3.0 语音系列，这次可以记住五款模型：

Ming-3.0-tts-0.5B

轻量语音合成、音色设计与声音克隆。

Ming-3.0-tts-tiny

7.9B 总参数、约 1.3B 激活，增加多人播客和更强语音控制。

Ming-3.0-audio-tiny

9.3B 总参数、约 2.7B 激活，负责轻量音频理解与推理。

Ming-3.0-audio-flash

126B 总参数、约 6.5B 激活，面向长音频、复杂声学理解和语音对话。

Ming-3.0-asr-tiny

约 9B 参数，负责中英文、方言、热词和业务语音转写。

这次真正值得关注的，不是蚂蚁又开源了五个模型名称。

而是语音 AI 正在从过去的两个单点能力：

语音转文字。

文字转语音。

继续走向一套更加完整的能力栈：

听清
↓
听懂
↓
分析
↓
回答
↓
再自然地说出来

以后语音 Agent 的竞争，也不会只看识别率和音色像不像真人。

还要看它能不能听懂长内容、理解声音环境、控制表达方式，并真正接入业务工作流。