开源项目解析
IndexTTS2
B 站开源的零样本语音合成:给一段参考音就能克隆音色,情感可以单独指定。中英双语。
音色与情感分开给B 站开源有营收与月活门槛
许可证附加条件:月活超 1 亿或年营收超 10 亿人民币需另行申请;不得用于改进其它 AI 模型
读懂层
2 张 · 架构图 / 流程图
DeepWiki 架构页 · 抓取 2026-08-16 · 核验 2026-08-16
DeepWiki 架构页 · 抓取 2026-08-16 · 核验 2026-08-16
文本与说话人参考音各自编码,情感走第三条输入(音频 / 文字 / 8 维向量),在 UnifiedVoice GPT 里合成语义码,再由 S2Mel(DiT + CFM)出梅尔谱、声码器出波形。v1.5 与 v2 / v2.5 三条推理路径并存于同一仓库。
它管哪几个决定
声音后期配音:改词不重出视频
7/10 家有官方说法自持能力
权重在不在本地可下载到本地
种子能不能填部分路径可填
换掉它要动几处几处
权重本地可跑;情感向量、emo_weight 这些是可填的控制量
动手层
文档代码结构踩过的坑实测 未做
装它要过哪几关
- 1装 uv官方只给了 uv 这一条路(`pip install -U uv`),别的装法要自己趟
- 2`uv sync --all-extras`要 webui 或加速扩展就加 `--extra webui` / `--extra accel`
- 3下模型首次运行自动拉;先 `git lfs install`
改哪个文件能改什么
indextts/infer_v2.pyIndexTTS2 的推理入口。情感三种给法都在这里汇合indextts/models/s2mel.py语义码到梅尔谱那一段(DiT + CFM)webui.py界面。想看参数怎么传,从这里往下追最快坑在哪一处
带 issue 编号的来自:github issues 按回复数排序 · 核验 2026-08-16
装不上issue #283「总结一些部署过程中您可能遇到的错误」回复 27 条、开着 —— 先看这一条再提问;Windows 另见 issue #392(已关闭)
只认 uvissue #313:有没有 uv 之外的部署方式,开着 —— 目前官方口径就是 uv
慢issue #96「推理速度还是很慢」开着。开 FP16/BF16 是官方给的第一招
语言issue #418:是否支持其它语言,开着 —— 现在只有中英
想自己微调issue #501 是非官方的训练/微调代码(回复 50 条,开着) —— 官方没放训练代码
教程
没找到官方口径的教程 —— 官方只给了 README。
项目自述
以下是仓库 README 的开头部分(原文引用,抓取 2026-08-17)。读全文 ↗
An Industrial-Level Controllable and Efficient Zero-Shot Text-to-Speech System 简体中文 | English | 日本語 | Español | العربية IndexTTS is a zero-shot text-to-speech system that clones a voice from a single reference audio clip. The latest release, IndexTTS-2.5, supports Chinese, English, Japanese, Spanish and Arabic, with fine-grained emotion control, speaking speed control, pronunciation control (Pinyin / CMU phonemes / Japanese Kana), and faster inference than IndexTTS-2. 🗂️ Model Zoo | Model | Demos | Paper | ModelScope | HuggingFace | | IndexTTS-2.5 | | | | | | IndexTTS-2 | | | | | | IndexTTS-1.5 | | | | | | IndexTTS | | | | | 📣 News - 2026/08/10 🔥 We release IndexTTS-2.5 - Now supports Chinese, English, Japanese, Spanish and Arabic, with faster inference than IndexTTS-2, while keeping the cross-lingual and timbre-emotion disentanglement capabilities. - Improved controllability of Chinese Pinyin, English CMU phonemes and Japanese Kana. - Speaking speed control via duration_factor (0.5x–2.0x duration). - Production deployment supported via vLLM. - 2025/09/08 🔥 We release IndexTTS-2 - The first autoregressive TTS model with precise synthesis duration control, supporting both controllable and uncontrollable modes. This functionality is not yet enabled in this release. - Highly expressive emotional speech synthesis, with emotion control through multiple input modalities. - 2025/05/14 🔥 We release IndexTTS-1.5, significantly improving the model's stability and its performance in English. - 2025/03/25 🔥 We release IndexTTS-1.0 with model weights and inference code. - 2025/02/12 🎉 We submitted our paper to arXiv, and released our demos and test sets. 🎬 Demos IndexTTS-2.5: The Future of Voice, Now Generating IndexTTS-2: The Future of Voice, Now Generating 🚀 Getting Started 1. Prerequisites Make sure you have git installed, then download this repository: bash git clone https://github.com/index-tts/index-tts.git && cd index-tts Example audio files are downloaded on demand from HuggingFace/ModelScope the first time the WebUI starts, so Git LFS is no longer required. 2. Install Dependencies We use uv to manage the project's dependency environment. It is required for a reliable installation: bash pip install -U uv # or see the link above for other install methods bash uv sync --all-extras This automatically creates a .venv project directory and installs the correct versions of Python and all required dependencies. If the download is slow, use a local mirror, e.g. one of these mirrors in China: bash uv sync --all-extras --default-index "https://mirrors.aliyun.com/pypi/simple" uv sync --all-extras --default-index "https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple" > [!TIP] > Available Extra Features: > > - --all-extras: Automatically adds *every* extra feature listed below. You can > remove this flag if you want to customize your installation choices. > - --extra webui: Adds WebUI support (recommended). > - --extra deepspeed: Adds DeepSpeed support (may speed up inference on some > systems). > [!IMPORTANT] > Windows: DeepSpeed may be difficult to install. You can skip it by removing > the ……(后略,见原文)
判断
优势
- 情感与音色分开给 —— 换情绪不用换参考音
- 中英双语,中文侧口碑最好的开源 TTS 之一
- 今天还在提交,是这一类里最活的
- 情感可以用一句话描述(emo_text),不必去找一段对味的参考音
局限
- 许可证有营收与月活门槛,还禁止用它的输出去改进别的 AI 模型
- 只支持中英(issue #418 问其它语言,开着)
- 推理速度被反复吐槽(issue #96,开着)
- 只给了 uv 一条安装路,issue #313 就是在问有没有别的(开着);Windows 安装是高频问题(issue #392)
不适用
要做多语种配音的活 —— 目前只有中英两种。
同管这些决定的其它项目
MiniMax H3全模态生成:文字、图片、视频、音频进同一个 Transformer,出带 32kHz…ACE-Step音乐生成基座:文生音乐、歌词编辑、音色复刻、remix。…pyvideotrans识别 → 翻译 → 合成 → 回封装的整条流水线,做跨语言配音与字幕。…LatentSync字节开源的口型同步:音频直接驱动潜空间扩散,不经过中间的运动表示。…Ollama一条命令在本机跑开源大模型。写脚本、翻译这两段靠它才不出本机。…DiffSynth-Studio魔搭扩散模型工程框架,覆盖图像、视频、音乐推理与训练;近期加入 FLUX.3、MOS…MoneyPrinterTurbo给个主题或关键词,一键出高清短视频,含字幕与配音。…NarratoAI用大模型一键解说并剪辑现成视频。…VOZEB PRO把统一创作 Agent、画布、短剧生产线、素材库和商业运营后台放进同一套 Next.…OpenMontage让 Agent 编排视频生产:通过声明式流水线组织素材、生成、字幕、音频与合成。…乘风视频剪辑 Skills用 Claude Code Skills 做的视频剪辑 Agent。中文侧最成型的一…OpenChatCut对话式视频剪辑器,本地优先。你说「第二条音轨第 8 秒加个故障转场」,它就去改那一刀…video-podcast-maker给编码 Agent 用的 skill:给一个主题,出一条 4K 带解说的讲解片。11…ComfyUI 官方工作流模板ComfyUI 内置的那批官方工作流模板与子图蓝图的真身仓库。…ClipForge带货短视频专用的一站式工具:上传商品图,自动提炼卖点、写种草脚本、配音配字幕加背景乐…短视频工厂跨平台桌面应用:给提示词文本加分镜素材,自动剪出产品营销或泛内容短视频。集成文案生成…Open AI UGC生成 UGC 风格的口播广告:用多个视频模型出真人感的 AI 演员念你的脚本。定位是…LiveTalking实时交互流式数字人引擎,音视频同步对话。支持 ernerf、musetalk、wav…Drama Skills面向编剧与漫剧工作室的短剧创作流水线:十个技能把一个点子或一部长篇材料,一路做成分集…PromptLensAI 视频提示词分析工具:丢进一条别人的视频,反推出它的提示词与创作脚本,并做画面分…
github README + GitHub API + LICENSE 原文 + DeepWiki 架构页 · 核验 2026-10-19 | 判断栏可报错。