AI 声音 · 能力核验规格书
引用官方来源 454 处|
这一卷收什么、不收什么
第一卷 · 语音合成轨给定文本,产出一段语音
| 能力 | MiniMax Speech speech-2.8-hdMiniMax2026-08-12 | Gemini TTS 3.8 Flash TTSGoogle2026-10-19 | Qwen Omni 3.5-omni-plus阿里巴巴2026-08-12 | GLM-TTS智谱2026-08-12 | CosyVoice Fun-CosyVoice3-0.5B-2512阿里巴巴2025-12-11 | ElevenLabs Eleven v4ElevenLabs2026-10-10 | GPT TTS GPT-4o mini TTSOpenAI2026-08-12 | Fish Speech s2-proFish Audio2026-03-09 | Kokoro 82M v1.1-zhhexgrad(Kokoro)2025-02-27 |
|---|---|---|---|---|---|---|---|---|---|
| 音色 | |||||||||
| 预置音色已普及早于可追溯范围6/9 | |||||||||
| 音色复刻部分早于可追溯范围6/9 | |||||||||
| 音色设计少数早于可追溯范围3/9 | |||||||||
| 控制 | |||||||||
| 情绪与风格控制已普及早于可追溯范围8/9 | |||||||||
| 多说话人少数早于可追溯范围2/9 | |||||||||
| 覆盖 | |||||||||
| 多语言已普及早于可追溯范围8/9 | |||||||||
| 工程 | |||||||||
| 流式输出已普及早于可追溯范围7/9 | |||||||||
| 长文本异步部分早于可追溯范围1/9 | |||||||||
| 时间戳字幕部分早于可追溯范围1/9 | |||||||||
| 格式与采样率已普及早于可追溯范围6/9 | |||||||||
| 获取 | |||||||||
| 开源权重部分早于可追溯范围5/9 | |||||||||
53 条厂商原文 —— 每个 都能在这儿查到出处
MiniMax Speech speech-2.8-hd · 预置音色:接口概览「同步语音合成」一节:「支持 300+ 系统音色、复刻音色自主选择」MiniMax 开放平台 · 接口概览
Gemini TTS 3.8 Flash TTS · 预置音色:支持预设音色及扩展音色库,旧版 30 种数量不再沿用。Google · Gemini 3.8 Flash TTS 模型卡
Qwen Omni 3.5-omni-plus · 预置音色:`audio.voice` 指定音色(文档示例 “Tina”)—— ⚠️ 这一页没给音色总数,只证明可选阿里云百炼 · Qwen-Omni
GLM-TTS · 预置音色:模型页列出 7 个音色:彤彤(默认)、小陈、锤锤、jam、kazi、douji、luodo;调用时用 `voice` 指定智谱 · GLM-TTS
GPT TTS GPT-4o mini TTS · 预置音色:13 种内置音色:alloy、ash、ballad、coral、echo、fable、nova、onyx、sage、shimmer、verse、marin、cedar。⚠️ 老的 tts-1 / tts-1-hd 只支持其中 9 种OpenAI · Text to speech
Kokoro 82M v1.1-zh · 预置音色:模型卡的发布表:v1.0 为「8 种语言 & 54 个音色」Hugging Face · hexgrad/Kokoro-82M 模型卡
MiniMax Speech speech-2.8-hd · 音色复刻:「音色快速复刻」接口:上传音频 + 可选示例音频 → 克隆音色。⚠️ 需完成个人或企业实名认证;产出的是临时音色,7 天内不使用会被删除MiniMax 开放平台 · 接口概览
Gemini TTS 3.8 Flash TTS · 音色复刻:支持声音复刻;使用需获得声音持有者授权。Google · Gemini 3.8 Flash TTS 模型卡
Qwen Omni 3.5-omni-plus · 音色复刻:Qwen3.5-Omni 系列的支持特性里含语音克隆(Qwen3-Omni-Flash 没有)阿里云百炼 · Qwen-Omni
GLM-TTS · 音色复刻:「GLM-TTS-Clone……只需 3 秒语音样本,即可学习说话者的音色与语气习惯」,产出音色 ID 供合成时使用智谱 · GLM-TTS-Clone
CosyVoice Fun-CosyVoice3-0.5B-2512 · 音色复刻:支持跨语言的零样本音色克隆 —— 给一段参考音频即可用其音色合成Hugging Face · Fun-CosyVoice3-0.5B-2512 模型卡
ElevenLabs Eleven v4 · 音色复刻:v4 模型介绍明确支持高保真音色克隆;不把 Turbo 分支的低延迟能力并入本型号。ElevenLabs · Models
MiniMax Speech speech-2.8-hd · 音色设计:「音色设计」接口:基于声音描述 prompt 生成个性化音色,可在合成接口里用MiniMax 开放平台 · 接口概览
Gemini TTS 3.8 Flash TTS · 音色设计:支持先设计音色,再以 voice ID 调用。Google · Gemini 3.8 Flash TTS 模型卡
Qwen Omni 3.5-omni-plus · 音色设计:官方 HF 组织有 `Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign`(2026-01-21)—— 型号名本身就是能力声明Hugging Face 官方组织目录(模型接口)
MiniMax Speech speech-2.8-hd · 情绪与风格控制:模型表:「speech-2.8-hd —— 情绪渲染融合语气词,重塑自然听感」;接口概览「同步语音合成」一节另有音量/语调/语速调整MiniMax 开放平台 · 接口概览
Gemini TTS 3.8 Flash TTS · 情绪与风格控制:支持结构化风格指令及行内声音事件。Google · Gemini 3.8 Flash TTS 模型卡
Qwen Omni 3.5-omni-plus · 情绪与风格控制:已核 Qwen3.5-Omni 音频输出章节;同节示例明确使用 qwen3.5-omni-plus。支持指令调节音量、语速、情绪。阿里云百炼 · Qwen-Omni
GLM-TTS · 情绪与风格控制:「通过上下文智能预判文本情绪与语调,显著提升语音自然度与表现力」;两阶段生成 + GRPO 强化学习,自称在「字错误率」与「情感表达」上取得开源 SOTA智谱 · GLM-TTS
CosyVoice Fun-CosyVoice3-0.5B-2512 · 情绪与风格控制:支持通过 instruct 控制语种、方言、情绪、语速、音量等|原文:「Instruct Support: Supports various instructions such as languages, dialects, emotions, speed, volume, etc.」Hugging Face · Fun-CosyVoice3-0.5B-2512 模型卡
ElevenLabs Eleven v4 · 情绪与风格控制:v4 明确强调表现力和对声音演绎的控制;不沿用旧接口参数清单。ElevenLabs · Models
GPT TTS GPT-4o mini TTS · 情绪与风格控制:`instructions` 参数「控制语音特性(口音、情感范围、语调、语速、语气等)」—— 用自然语言下指令,不是固定档位OpenAI · Text to speech
Fish Speech s2-pro · 情绪与风格控制:行内 `[tag]` 控制,接受自由描述而非固定标签(文档举例 `[whisper in small voice]`、`[professional broadcast tone]`),自称支持 15,000+ 种韵律与情绪标签,可细到词级Hugging Face · fishaudio/s2-pro 模型卡
Gemini TTS 3.8 Flash TTS · 多说话人:每轮指定 speaker;旧版最多两人的数量不直接套用。Google · Gemini 3.8 Flash TTS 模型卡
ElevenLabs Eleven v4 · 多说话人:v4 旗舰卡片明确列出自然多说话人对白。ElevenLabs · Models
MiniMax Speech speech-2.8-hd · 多语言:「全面支持 40 种全球广泛使用的语言」,页面列了 40 个语种MiniMax 开放平台 · 接口概览
Gemini TTS 3.8 Flash TTS · 多语言:Flash TTS 支持 130 种语言;不要与 Flash-Lite 的 101 种混用。Google · Gemini 3.8 Flash TTS 模型卡
Qwen Omni 3.5-omni-plus · 多语言:「输出 74 种语言和 39 种方言」阿里云百炼 · Qwen-Omni
GLM-TTS · 多语言:GLM-TTS 模型卡明确优化中英文混合文本;不借用 Clone 分支的描述。HF · 智谱 GLM-TTS
CosyVoice Fun-CosyVoice3-0.5B-2512 · 多语言:「Covers 9 common languages(中英日韩德西法意俄),18+ 中文方言/口音」,并支持跨语言零样本Hugging Face · Fun-CosyVoice3-0.5B-2512 模型卡
ElevenLabs Eleven v4 · 多语言:v4 官方语言清单为 90+;核验对象为 eleven_v4。ElevenLabs · Models
Fish Speech s2-pro · 多语言:模型卡:80+ 种语言,分档标注(一档 日/英/中,二档 韩/西/葡/阿/俄/法/德)Hugging Face · fishaudio/s2-pro 模型卡
Kokoro 82M v1.1-zh · 多语言:`hexgrad/Kokoro-82M-v1.1-zh`(2025-02-27)在 82M 基础上加中文 —— 型号名里的 `-zh` 即依据。⚠️ 这只证明「有中文」,没有语言总数Hugging Face 官方组织目录(模型接口)
MiniMax Speech speech-2.8-hd · 流式输出:接口概览「同步语音合成」一节:「支持流式输出」MiniMax 开放平台 · 接口概览
Gemini TTS 3.8 Flash TTS · 流式输出:3.8 Flash TTS 示例明确使用 stream:true;默认返回 24kHz 单声道 PCM 音频块。Gemini API · Speech generation
Qwen Omni 3.5-omni-plus · 流式输出:请求参数含 `stream` 与 `stream_options`阿里云百炼 · Qwen-Omni
GLM-TTS · 流式输出:「支持非流式、流式接口」两种调用,流式首帧可达 400ms 以内;参数 `stream`智谱 · GLM-TTS
CosyVoice Fun-CosyVoice3-0.5B-2512 · 流式输出:「Support both text-in streaming and audio-out streaming,achieves latency as low as 150ms」—— 双向流式,明写Hugging Face · Fun-CosyVoice3-0.5B-2512 模型卡
GPT TTS GPT-4o mini TTS · 流式输出:「chunk transfer encoding」实时流播:「the audio can be played before the full file is generated」OpenAI · Text to speech
Fish Speech s2-pro · 流式输出:给的是流式才有意义的指标:首音频时延约 100 毫秒、实时率 0.195(H200)、吞吐 3,000+ 声学 token/秒。⚠️ 模型卡没有明写「支持流式接口」,这一格是从这三个指标推的Hugging Face · fishaudio/s2-pro 模型卡
MiniMax Speech speech-2.8-hd · 长文本异步:异步长文本一节:「单次文本生成传输最大支持 100 万字符」(同步接口上限 10,000 字符)MiniMax 开放平台 · 接口概览
MiniMax Speech speech-2.8-hd · 时间戳字幕:异步长文本一节:「支持时间戳(字幕)返回,精确到句」MiniMax 开放平台 · 接口概览
MiniMax Speech speech-2.8-hd · 格式与采样率:接口概览「同步语音合成」一节:「支持多种音频规格、格式,包括:mp3, pcm, flac, wav」,并可调比特率与采样率MiniMax 开放平台 · 接口概览
Gemini TTS 3.8 Flash TTS · 格式与采样率:可选 WAV、PCM、mu-law、A-law;可配置 sample_rate,例如 24000 / 16000 / 8000 Hz。Gemini API · Speech generation
Qwen Omni 3.5-omni-plus · 格式与采样率:`audio.format` 指定输出格式(文档示例 `wav`)阿里云百炼 · Qwen-Omni
GLM-TTS · 格式与采样率:`response_format` 支持 wav / pcm,`encode_format` 可选 base64;流式响应里 `return_sample_rate: 24000`智谱 · GLM-TTS
GPT TTS GPT-4o mini TTS · 格式与采样率:`response_format`:mp3、opus、aac、flac、wav、pcmOpenAI · Text to speech
Kokoro 82M v1.1-zh · 格式与采样率:输出采样率 24,000 Hz。⚠️ 模型卡没写是否支持流式与更多格式 —— 那一格照旧 ⬜Hugging Face · hexgrad/Kokoro-82M 模型卡
Qwen Omni 3.5-omni-plus · 开源权重:Apache-2.0,全模态与 TTS 两支都放了权重。Hugging Face · Qwen/Qwen3-Omni-30B-A3B-Instruct
GLM-TTS · 开源权重:MIT,限制最少的一档。Hugging Face · zai-org/GLM-TTS
CosyVoice Fun-CosyVoice3-0.5B-2512 · 开源权重:Apache-2.0。⚠️ 代码仓库已从 FunAudioLLM 迁到 QwenAudio 名下,权重仓库仍在旧组织。Hugging Face · FunAudioLLM/CosyVoice2-0.5B
Fish Speech s2-pro · 开源权重:s2-pro 采用 Fish Audio Research License,允许研究与非商业使用。这里核实权重已发布,不沿用 1.5 的 CC-BY-NC-SA 许可名。Hugging Face · fishaudio/s2-pro 模型卡
Kokoro 82M v1.1-zh · 开源权重:这一卷下载量最大的权重,82M 参数,普通机器就能跑。Apache-2.0,商用无附加条件。Hugging Face · hexgrad/Kokoro-82M
现在有这些
9 个模型,按当前版本日期排。越靠前越新。
每项能力,谁做到了
点开看名字。 是「官方没说」,不是「不支持」 —— 两回事。
音色复刻6 / 9 · 3 没说
音色设计3 / 9 · 6 没说
多说话人2 / 9 · 7 没说
长文本异步1 / 9 · 8 没说
时间戳字幕1 / 9 · 8 没说
谁最不透明
九家都用厂商官方文档逐格核过之后,剩下的 就是这家没公开说的部分。 别看总数,看分布。
第二卷 · 音乐生成轨给定描述或歌词,产出一段音乐
| 能力 | Eleven Music v2.5ElevenLabs2026-09-23 | Lyria 3.5Google2026-09-10 | MiniMax Music music-3.0MiniMax2026-08-12 |
|---|---|---|---|
| 生成 | |||
| 描述生成音乐已普及早于可追溯范围3/3 | |||
| 歌词与人声部分早于可追溯范围2/3 | |||
| 获取 | |||
| 开源权重部分早于可追溯范围1/3 | |||
| 出什么 | |||
| 人声或纯伴奏待核早于可追溯范围2/3 | |||
| 定时歌词待核早于可追溯范围1/3 | |||
| 多语种歌曲待核早于可追溯范围1/3 | |||
| 怎么控 | |||
| 曲式与时长控制待核早于可追溯范围2/3 | |||
| 分段编辑待核早于可追溯范围1/3 | |||
13 条厂商原文 —— 每个 都能在这儿查到出处
Eleven Music v2.5 · 描述生成音乐:官方模型页(2026-09-23)Music 一节 v2.5 名下:「Our most advanced music model / Improved quality and prompt adherence」;文档页同条写「Studio-grade generation from text prompts」ElevenLabs · Models
Lyria 3.5 · 描述生成音乐:模型表:`lyria-3.5`「Full-length songs with verses, choruses, bridges」,时长「A couple of minutes (controllable using prompt)」;`lyria-3-clip-preview` 固定 30 秒。都出 44.1kHz 高保真立体声,可多模态输入 —— 官方原文「you can provide up to 10 images alongside your text prompt」Gemini API · Music generation(Lyria 3)
MiniMax Music music-3.0 · 描述生成音乐:「music-3.0 —— 支持用户输入音乐灵感和歌词,生成 AI 音乐」MiniMax 开放平台 · 接口概览
Lyria 3.5 · 歌词与人声:首段原文:「These models deliver structural coherence, including vocals, timed lyrics, and full instrumental arrangements」,也可只出纯器乐。⚠️ 两条硬限制这一版写得更明白了:所有音频带 SynthID 水印;「prompts that request specific artist voices or the generation of copyrighted lyrics」会被安全过滤挡掉Gemini API · Music generation(Lyria 3)
MiniMax Music music-3.0 · 歌词与人声:音乐生成一节:「根据歌曲描述(prompt)和歌词(lyrics),生成一首人声的歌曲」MiniMax 开放平台 · 接口概览
MiniMax Music music-3.0 · 开源权重:2026-08-13 官方发布文章明确 MiniMax Music 3.0 为 Open-Weights;撤回组织目录没找到即不支持的旧判断。MiniMax Music 3.0 官方发布说明(2026-08-13)
Eleven Music v2.5 · 人声或纯伴奏:官方把「要不要人声」当成一个明确的开关来讲,而不是让你在提示词里碰运气。 「Vocals or just instrumental」这句只印在 v2 名下,v2.5 那段没有重申 —— 不拿「同一套工作流」替它背书。ElevenLabs · Models
Lyria 3.5 · 人声或纯伴奏:同一句里既说人声也说纯器乐编排。Gemini API · Music generation(Lyria 3)
Lyria 3.5 · 定时歌词:🎯 这一格全卷只有它一家:歌词是和音频分开返回的结构化内容,不是混在波形里。想做字幕或对轴,只有这条路走得通。Gemini API · Music generation(Lyria 3)
Eleven Music v2.5 · 多语种歌曲:「Multilingual, including English, Spanish, German, Japanese and more」只印在 v2 名下,v2.5 那段没有重申。ElevenLabs · Models
Eleven Music v2.5 · 曲式与时长控制:官方模型页(2026-09-23)Music 一节 v2.5 名下:「Same workflows and support: composition plans, audio reference, and inpainting」—— 作曲方案(结构)在 v2.5 名下被明确重申ElevenLabs · Models
Lyria 3.5 · 曲式与时长控制:⚠️ 时长控制的方式是写进提示词,不是一个参数 —— 限制一节写得很直白:「exact duration can be influenced through your prompt」。两档的时长上限仍是硬的(Clip 30 秒 / 3.5 数分钟)。更新日志把这一代的改进说成「fine-grained duration and structural control」——是变细,不是新增。Gemini API · Music generation(Lyria 3)
Eleven Music v2.5 · 分段编辑:官方模型页(2026-09-23)Music 一节 v2.5 名下:「Same workflows and support: composition plans, audio reference, and inpainting」—— 分段改写(inpainting)在 v2.5 名下被明确重申ElevenLabs · Models
第三卷 · 实时语音轨边说边听:语音进、语音出,可打断
| 能力 | Grok Voice 3.0xAI2026-10-19 | GLM Voice glm-4-voice智谱2026-08-12 | GPT Realtime 2.1OpenAI2026-08-12 |
|---|---|---|---|
| 交互 | |||
| 全双工语音对话已普及早于可追溯范围3/3 | |||
| 对话中调工具部分早于可追溯范围1/3 | |||
| 实时翻译少数早于可追溯范围1/3 | |||
| 工程 | |||
| 接入方式部分早于可追溯范围1/3 | |||
| 获取 | |||
| 开源权重部分早于可追溯范围1/3 | |||
7 条厂商原文 —— 每个 都能在这儿查到出处
Grok Voice 3.0 · 全双工语音对话:支持双向音频与文本流,server_vad 轮转;文档另列 interruptible 控制。xAI · Speech to Speech API
GLM Voice glm-4-voice · 全双工语音对话:「首个端到端语音模型……实现实时语音对话,并可根据用户指令灵活调整语音的情感、语调、语速和方言」;上下文 8K、最大输出 4K智谱 · GLM-4-Voice
GPT Realtime 2.1 · 全双工语音对话:Realtime 指南的会话类型含「Voice-agent sessions」,响应事件有 `response.output_audio.delta`OpenAI · Realtime API 指南
Grok Voice 3.0 · 对话中调工具:当前 3.0 文档列出 function、web_search、x_search、file_search 与 mcp 工具。xAI · Speech to Speech API
GPT Realtime 2.1 · 实时翻译:专门的「Translation sessions」与 `gpt-realtime-translate` 模型,端点 `/v1/realtime/translations`OpenAI · Realtime API 指南
Grok Voice 3.0 · 接入方式:WebSocket 实时传输。xAI · Speech to Speech API
GLM Voice glm-4-voice · 开源权重:⚠️ 模型卡上没写许可(接口返回的 license 是空的)。权重下得到,但拿它做产品前要先找官方确认授权 —— 「能下载」和「能用」是两回事。Hugging Face · zai-org/glm-4-voice-9b
第四卷 · 语音识别轨把声音变回文字 —— 和第一卷的语音合成正好一进一出
| 能力 | ElevenLabs Scribe v2ElevenLabs2026-08-15 | Whisper large-v3OpenAI2026-08-15只维护,无新代 | Qwen3-ASR 1.7B阿里巴巴2026-08-15 | SenseVoice Small阿里巴巴2026-08-15 |
|---|---|---|---|---|
| 获取 | ||||
| 开源权重部分早于可追溯范围3/4 | ||||
| 转得准吗 | ||||
| 多语种转写待核早于可追溯范围4/4 | ||||
| 转成什么 | ||||
| 说话人分离待核早于可追溯范围1/4 | ||||
| 逐词时间戳待核早于可追溯范围1/4 | ||||
| 语音翻译待核早于可追溯范围1/4 | ||||
| 怎么用 | ||||
| 实时转写待核早于可追溯范围2/4 | ||||
12 条厂商原文 —— 每个 都能在这儿查到出处
Whisper large-v3 · 开源权重:这一轨的地基:HF 下载量前十里三个是它或它的衍生。OpenAI 官方 · Whisper large-v3 模型卡
Qwen3-ASR 1.7B · 开源权重:已核阿里官方 · Qwen3-ASR 模型卡
SenseVoice Small · 开源权重:已核阿里 FunAudioLLM 官方 · SenseVoiceSmall 模型卡
ElevenLabs Scribe v2 · 多语种转写:90+ 语种是写在 Realtime 那一档下的。ElevenLabs · Models
Whisper large-v3 · 多语种转写:⚠️ 官方讲的是零样本泛化,没有给语种数。对照 Scribe 明写 90+ —— 同样是 ✅,可比性差一截。OpenAI 官方 · Whisper large-v3 模型卡
Qwen3-ASR 1.7B · 多语种转写:明确包含当前 1.7B;30 种语言与 22 种中文方言,不写成 52 种独立语言。阿里官方 · Qwen3-ASR 模型卡
SenseVoice Small · 多语种转写:SenseVoiceSmall 模型卡明确支持超过 50 种语言。阿里 FunAudioLLM 官方 · SenseVoiceSmall 模型卡
ElevenLabs Scribe v2 · 说话人分离:🎯 全轨唯一给了上限数字的:最多 32 个说话人。别家只说「支持分离」。ElevenLabs · Models
ElevenLabs Scribe v2 · 逐词时间戳:两档都有,官方措辞是 `Precise word-level`。ElevenLabs · Models
Whisper large-v3 · 语音翻译:🎯 翻译是它自述里与识别并列的两件事之一 —— 这一轨里只有它把翻译写进定位。OpenAI 官方 · Whisper large-v3 模型卡
ElevenLabs Scribe v2 · 实时转写:🎯 也是唯一给了延迟数字的(~150ms),而且单开了一档模型而不是一个参数。ElevenLabs · Models
Qwen3-ASR 1.7B · 实时转写:They both 指同段的 1.7B 与 0.6B,模型表亦列 Offline / Streaming;不把强制对齐器的时间戳能力并入本模型。阿里官方 · Qwen3-ASR 模型卡
代表性视图,不是完整列表 ——查看全部 21 个模型 →