AI 声音 · 我想做什么6 个真实应用 —— 先看成品，再看它对应的公开项目、Skill、课程与文档

Fish Speech s2-pro（权重公开） ↗

⚠️ 权重公开 ≠ 可商用：Fish Audio 研究许可写明商用需单独授权（见 https://github.com/fishaudio/fish-speech/blob/main/LICENSE）

许可证未采Hugging Face 官方组织目录（模型接口）

Qwen3-TTS CustomVoice（权重公开） ↗

Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice，createdAt 2026-01-21（♥1871）

许可证未采Hugging Face 官方组织目录（模型接口）

abogen（EPUB/PDF → 音频 + 同步字幕） ↗

输出带逐句时间戳，做「听读同步」这类产品时省掉一次强制对齐

MITGitHub · denizsafak/abogen（星标 5,661，许可 MIT）

audiobook-creator（用大模型认角色，多音色分角朗读） ↗

GPL-3.0 是传染性许可：你把它嵌进自家产品，产品的分发也要开源。只想做内部工具没问题，要做商品先问法务

GPL-3.0GitHub · prakharsr/audiobook-creator（星标 521，许可 GPL-3.0）

CosyVoice（阿里，Apache-2.0） ↗

多语种；仓库已迁到 QwenAudio 名下

许可证未采GitHub · QwenAudio/CosyVoice（星标 22,710，许可 Apache-2.0）

ebook2audiobook（电子书直接转有声书，带声音复刻） ↗

声音卷这一类里星标最高的一支，仍在活跃更新。Apache-2.0，商用无附加条件 —— 但它只是调度层，真正发声的模型许可要另看

Apache-2.0GitHub · DrewThomasson/ebook2audiobook（星标 19,666，许可 Apache-2.0）

epub2tts（按章切分，可接 Coqui / OpenAI / Edge TTS） ↗

2026-02 之后没有新推送，属于能用但没人维护的那一档

Apache-2.0GitHub · aedocw/epub2tts（星标 951，许可 Apache-2.0）

F5-TTS（零样本复刻，MIT） ↗

被多数开源配音工具拿去当默认后端

许可证未采GitHub · SWivid/F5-TTS（星标 15,112，许可 MIT）

GPT-SoVITS（1 分钟素材训音色，MIT） ↗

中文场景下最好上手的一支

许可证未采GitHub · RVC-Boss/GPT-SoVITS（星标 60,756，许可 MIT）

IndexTTS（B 站） ↗

⚠️ bilibili 自定义许可，明文禁止拿它去改进别的 AI 模型

许可证未采GitHub · index-tts/index-tts（星标 22,677，许可 bilibili 自定义模型许可）

GPT-SoVITS 中文文档 ↗

长文朗读的难点是音色一致与断句。这份官方中文文档把「1 分钟素材训一个音色」的完整步骤写清楚了，中文社区教程也大多以它为准。

GPT-SoVITS 官方中文文档

WaytoAGI · 1.7 AI 数字人+语音合成（中文社区知识库） ↗

把数字人分服务型 / 表演型 / 身份型三类，技术拆到语音识别、语音合成、情感计算 —— ⚠️ 是概念地图不是操作步骤，动手教程往 1.5 / 1.9 找

通往 AGI 之路（WaytoAGI）知识库

Fish Speech s2-pro（权重公开） ↗

⚠️ 权重公开 ≠ 可商用：Fish Audio 研究许可写明商用需单独授权（见 https://github.com/fishaudio/fish-speech/blob/main/LICENSE）

许可证未采Hugging Face 官方组织目录（模型接口）

Qwen3-TTS CustomVoice（权重公开） ↗

Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice，createdAt 2026-01-21（♥1871）

许可证未采Hugging Face 官方组织目录（模型接口）

CosyVoice（阿里，Apache-2.0） ↗

多语种；仓库已迁到 QwenAudio 名下

许可证未采GitHub · QwenAudio/CosyVoice（星标 22,710，许可 Apache-2.0）

F5-TTS（零样本复刻，MIT） ↗

被多数开源配音工具拿去当默认后端

许可证未采GitHub · SWivid/F5-TTS（星标 15,112，许可 MIT）

GPT-SoVITS（1 分钟素材训音色，MIT） ↗

中文场景下最好上手的一支

许可证未采GitHub · RVC-Boss/GPT-SoVITS（星标 60,756，许可 MIT）

IndexTTS（B 站） ↗

⚠️ bilibili 自定义许可，明文禁止拿它去改进别的 AI 模型

许可证未采GitHub · index-tts/index-tts（星标 22,677，许可 bilibili 自定义模型许可）

SmartSub 妙幕（桌面端，本地 Whisper 转写 + 配音 + 字幕烧录） ↗

MIT，且是装了就能用的桌面应用，不需要自己搭 Python 环境 —— 给不写代码的人时选它

MITGitHub · buxuku/SmartSub（星标 4,604，许可 MIT）

YouDub（把 YouTube 视频翻译配音成中文，保留原音色） ↗

最后推送停在 2024-05-14，两年多没动。 收它是因为它把「保留原 UP 主音色」这条链路讲清楚了，直接跑起来大概率要自己修依赖

Apache-2.0GitHub · liuzhao1225/YouDub（星标 614，许可 Apache-2.0）

pyvideotrans 中文文档 ↗

整条配音流水线的中文说明：识别 → 翻译 → 合成 → 回封装，每一段可以换哪些引擎都列了。⚠️ GPL-3.0 是传染性许可。

GitHub · jianchang512/pyvideotrans（星标 18,636，许可 GPL-3.0）

WaytoAGI · 1.7 AI 数字人+语音合成（中文社区知识库） ↗

把数字人分服务型 / 表演型 / 身份型三类，技术拆到语音识别、语音合成、情感计算 —— ⚠️ 是概念地图不是操作步骤，动手教程往 1.5 / 1.9 找

通往 AGI 之路（WaytoAGI）知识库

GLM-4-Voice（端到端语音，权重公开） ↗

模型页：「首个端到端语音模型……实现实时语音对话」；上下文 8K、最大输出 4K

许可证未采智谱 · GLM-4-Voice

huggingface/speech-to-speech（全开源模型拼出的本地语音对话） ↗

价值在演示「不联网也能做」：整条链路每一段都是可下载的权重。延迟比商用实时接口高，但数据不出机器

Apache-2.0GitHub · huggingface/speech-to-speech（星标 12,332，许可 Apache-2.0）

LiveKit Agents（跑在 WebRTC 上的实时语音 Agent 框架） ↗

它的强项在传输层：网络抖动、回声消除、多人房间。要做的是网页/App 里的对话，这条比自己搭 WebSocket 稳

Apache-2.0GitHub · livekit/agents（星标 12,940，许可 Apache-2.0）

Moshi（端到端全双工语音模型，不走 STT→LLM→TTS 三段） ↗

和上面三条是两种做法：它把语音直接吃进模型，所以能真正做到「你说话它当场停」。代价是内容能力弱于文本大模型

Apache-2.0GitHub · kyutai-labs/moshi（星标 10,849，许可 Apache-2.0）

Pipecat（语音 Agent 编排框架，可换任意 STT/LLM/TTS） ↗

BSD-2-Clause，限制最少的一档。打断（barge-in）、并发、电话接入这些实时语音的脏活它都做了

BSD-2-ClauseGitHub · pipecat-ai/pipecat（星标 14,068，许可 BSD-2-Clause）

Qwen3-Omni（原生全模态，Apache-2.0） ↗

权重公开的一条，语音进语音出

许可证未采GitHub · QwenLM/Qwen3-Omni（星标 3,946，许可 Apache-2.0）

CosyVoice 官方文档 ↗

语音助手要的是流式合成与低延迟，这份文档给了推理/训练/部署的全栈说明（Apache-2.0）。⚠️ 仓库已从 FunAudioLLM 迁到 QwenAudio 名下。

GitHub · QwenAudio/CosyVoice（星标 22,710，许可 Apache-2.0）

WaytoAGI · 1.7 AI 数字人+语音合成（中文社区知识库） ↗

把数字人分服务型 / 表演型 / 身份型三类，技术拆到语音识别、语音合成、情感计算 —— ⚠️ 是概念地图不是操作步骤，动手教程往 1.5 / 1.9 找

通往 AGI 之路（WaytoAGI）知识库

ACE-Step 1.5（本地跑的整曲音乐生成） ↗

MIT，且官方称 4GB 显存就能跑、可用几首曲子训 LoRA 学风格。做 BGM 这一类里目前最现实的自部署选项

MITGitHub · ace-step/ACE-Step-1.5（星标 12,151，许可 MIT）

ACE-Step（1.5 的上一代，Apache-2.0） ↗

留着是因为许可不同（Apache-2.0 带专利授权条款，MIT 没有）—— 有些公司的法务只认这一种

Apache-2.0GitHub · ace-step/ACE-Step（星标 4,748，许可 Apache-2.0）

Audiocraft / MusicGen（Meta 出品） ↗

这条要看清楚：代码是 MIT，模型权重是 CC-BY-NC 4.0 —— 权重不允许商用。 拿它出的 BGM 放进要卖的片子里是违约的，这一条最常被忽略

代码 MIT / 权重 CC-BY-NC 4.0GitHub · facebookresearch/audiocraft（星标 23,555，许可 代码 MIT / 权重 CC-BY-NC 4.0）

YuE（整曲生成，含人声演唱） ↗

带唱的，不只是伴奏。2025-06 之后没有新推送

Apache-2.0GitHub · multimodal-art-projection/YuE（星标 6,375，许可 Apache-2.0）

CosyVoice 官方文档 · 部署部分 ↗

⚠️ 这一条是借用：配乐这一类目前没找到成体系的中文教程，先放一份讲「音频模型怎么在本机跑起来」的中文文档顶上。这是缺口不是答案，找到真正讲音乐生成的中文材料就替换。

GitHub · QwenAudio/CosyVoice（星标 22,710，许可 Apache-2.0）

WaytoAGI · 1.6 AI 音乐（中文社区知识库） ↗

Suno 与 Udio 中文教程、创作案例、风格流派，另有一份分七大类的提示词手册 —— 自述是「共享编辑文档」，谁都能改

通往 AGI 之路（WaytoAGI）知识库

Fish Speech s2-pro（权重公开） ↗

⚠️ 权重公开 ≠ 可商用：Fish Audio 研究许可写明商用需单独授权（见 https://github.com/fishaudio/fish-speech/blob/main/LICENSE）

许可证未采Hugging Face 官方组织目录（模型接口）

Qwen3-TTS CustomVoice（权重公开） ↗

Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice，createdAt 2026-01-21（♥1871）

许可证未采Hugging Face 官方组织目录（模型接口）

CosyVoice（阿里，多语种，推理/训练/部署全栈） ↗

Apache-2.0。⚠️ 仓库归属已从 FunAudioLLM 迁到 QwenAudio，老链接会跳转

Apache-2.0GitHub · QwenAudio/CosyVoice（星标 22,710，许可 Apache-2.0）

F5-TTS（流匹配，零样本复刻） ↗

MIT，模型小、推理快，常被上面那些配音工具当作默认合成后端

MITGitHub · SWivid/F5-TTS（星标 15,112，许可 MIT）

Fish Speech（效果第一梯队） ↗

⚠️ 许可不是开源许可。 LICENSE 原文：「This Agreement is intended to allow research and non-commercial uses of the Materials free of charge. Any Commercial use of the Materials requires a separate license from Fish Audio.」—— 商用要单独找它买

Fish Audio 研究许可（商用需另谈）GitHub · fishaudio/fish-speech（星标 32,158，许可 Fish Audio 研究许可（商用需另谈））

GPT-SoVITS（1 分钟素材就能训出可用音色） ↗

声音复刻这一类里星标最高的，MIT。中文社区教程最多，出问题最容易搜到答案

MITGitHub · RVC-Boss/GPT-SoVITS（星标 60,756，许可 MIT）

IndexTTS（B 站，工业级零样本 TTS） ↗

⚠️ 用的是 bilibili 自定义许可，不是标准开源许可。原文：「You may not Use the bilibili indextts2 or any Derivative Work to improve any AI model, except for the bilibili indextts2 itself, its Derivative Works，or non-commercial AI models.」—— 不能拿它的输出去训自己的模型

bilibili 自定义模型许可GitHub · index-tts/index-tts（星标 22,677，许可 bilibili 自定义模型许可）

RVC WebUI（音色转换：把 A 的说话换成 B 的音色） ↗

和复刻不是一回事 —— 它改的是已有音频的音色，语气节奏还是原来那个人的。要保留演绎、只换嗓子时用它

MITGitHub · RVC-Project/Retrieval-based-Voice-Conversion-WebUI（星标 37,287，许可 MIT）

ChatTTS 中文文档 ↗

对话场景的中文语音模型（★39,776），文档讲了口语化韵律怎么调。⚠️ AGPL-3.0，传染性最强的一档 —— 接进自家服务前务必看清。

ChatTTS 官方中文文档

GPT-SoVITS 中文文档 ↗

音色 IP 就是声音复刻，这份是中文侧步骤最全的（★60,795，MIT）。

GPT-SoVITS 官方中文文档

WaytoAGI · 1.7 AI 数字人+语音合成（中文社区知识库） ↗

把数字人分服务型 / 表演型 / 身份型三类，技术拆到语音识别、语音合成、情感计算 —— ⚠️ 是概念地图不是操作步骤，动手教程往 1.5 / 1.9 找

通往 AGI 之路（WaytoAGI）知识库

Eleven Music v2（唯一能改单段的） ↗

做出来不满意时，别家只能整首重来

ElevenLabs · Models

Lyria 3（Google，歌词与音频分开返回） ↗

⚠️ 所有音频带 SynthID 水印；请求特定艺人嗓音或受版权歌词会被拒

Gemini API · Music generation（Lyria 3）