快讯6 条
快讯3 条 · 可滚动
本站于 2026-10-19 补核;官方发布日期为 2026-10-17。

出处:DeepSeek 官方文档 · 更新日志官方

本站于 2026-10-19 补核;官方发布日期为 2026-10-14。

出处:xAI · API Release Notes官方

本站于 2026-10-19 补核;官方发布日期为 2026-10-13。

出处:Gemini API · Release notes官方

开源项目解析

IndexTTS2

B 站开源的零样本语音合成:给一段参考音就能克隆音色,情感可以单独指定。中英双语。

音色与情感分开给B 站开源有营收与月活门槛
bilibili Model Use License 有条件商用★ 24.6k 1207 星/月最后更新 2026-09-29 · 距核验日 1 个月仓库 ↗

许可证附加条件:月活超 1 亿或年营收超 10 亿人民币需另行申请;不得用于改进其它 AI 模型

读懂层

2 张 · 架构图 / 流程图

架构图三条输入怎么汇起来

Neural_Generation

Feature_Extraction

Text_Processing

Input_Space

Text Input

Speaker Prompt (Audio)

Emotion Input (Text/Audio/Vector)

TextNormalizer (indextts/text/normalizer.py)

TextTokenizer (indextts/text/tokenizer.py)

w2v-bert-2.0 (indextts/models/semantic_codec.py)

SemanticCodec (indextts/models/semantic_codec.py)

CAMPPlus Style Extraction

UnifiedVoice GPT (indextts/models/model_v2_5.py)

S2Mel DiT (indextts/models/s2mel.py)

BigVGAN (indextts/models/bigvgan/model.py)

Generated Waveform

DeepWiki 架构页 · 抓取 2026-08-16 · 核验 2026-08-16

流程图音色与情感是怎么混的

Fusion & Synthesis

Feature Disentanglement

Input Modalities

Speaker Prompt
(prompt_audio)

Style Source
(emo_audio / emo_vec / emo_text)

CAMPPlus Style Extractor
(indextts.utils.feature_extractors)

Emotion Feature Extractor
(W2V-BERT / Qwen)

Alpha Blending
(emo_weight)

UnifiedVoice GPT
(model_v2_5.py)

S2Mel Component
(DiT + CFM)

Final Audio

DeepWiki 架构页 · 抓取 2026-08-16 · 核验 2026-08-16

文本与说话人参考音各自编码,情感走第三条输入(音频 / 文字 / 8 维向量),在 UnifiedVoice GPT 里合成语义码,再由 S2Mel(DiT + CFM)出梅尔谱、声码器出波形。v1.5 与 v2 / v2.5 三条推理路径并存于同一仓库。

它管哪几个决定

声音后期配音:改词不重出视频
7/10 家有官方说法

自持能力

权重在不在本地可下载到本地
种子能不能填部分路径可填
换掉它要动几处几处

权重本地可跑;情感向量、emo_weight 这些是可填的控制量

动手层

文档代码结构踩过的坑实测 未做

装它要过哪几关

  1. 1装 uv官方只给了 uv 这一条路(`pip install -U uv`),别的装法要自己趟
  2. 2`uv sync --all-extras`要 webui 或加速扩展就加 `--extra webui` / `--extra accel`
  3. 3下模型首次运行自动拉;先 `git lfs install`

改哪个文件能改什么

indextts/infer_v2.pyIndexTTS2 的推理入口。情感三种给法都在这里汇合
indextts/models/s2mel.py语义码到梅尔谱那一段(DiT + CFM)
webui.py界面。想看参数怎么传,从这里往下追最快

坑在哪一处

带 issue 编号的来自:github issues 按回复数排序 · 核验 2026-08-16

装不上issue #283「总结一些部署过程中您可能遇到的错误」回复 27 条、开着 —— 先看这一条再提问;Windows 另见 issue #392(已关闭)
只认 uvissue #313:有没有 uv 之外的部署方式,开着 —— 目前官方口径就是 uv
慢issue #96「推理速度还是很慢」开着。开 FP16/BF16 是官方给的第一招
语言issue #418:是否支持其它语言,开着 —— 现在只有中英
想自己微调issue #501 是非官方的训练/微调代码(回复 50 条,开着) —— 官方没放训练代码

教程

没找到官方口径的教程 —— 官方只给了 README。

项目自述

以下是仓库 README 的开头部分(原文引用,抓取 2026-08-17)。读全文 ↗

An Industrial-Level Controllable and Efficient Zero-Shot Text-to-Speech System

简体中文 | English | 日本語 | Español | العربية

IndexTTS is a zero-shot text-to-speech system that clones a voice from a single
reference audio clip. The latest release, IndexTTS-2.5, supports Chinese,
English, Japanese, Spanish and Arabic, with fine-grained emotion control,
speaking speed control, pronunciation control (Pinyin / CMU phonemes /
Japanese Kana), and faster inference than IndexTTS-2.

🗂️ Model Zoo

| Model | Demos | Paper | ModelScope | HuggingFace |
| IndexTTS-2.5 |    |  |  |  |
| IndexTTS-2 |  |  |  |  |
| IndexTTS-1.5 |  |  |  |  |
| IndexTTS |  |  |  |  |

📣 News

- 2026/08/10 🔥 We release IndexTTS-2.5
  - Now supports Chinese, English, Japanese, Spanish and Arabic, with faster inference than IndexTTS-2, while keeping the cross-lingual and timbre-emotion disentanglement capabilities.
  - Improved controllability of Chinese Pinyin, English CMU phonemes and Japanese Kana.
  - Speaking speed control via duration_factor (0.5x–2.0x duration).
  - Production deployment supported via vLLM.
- 2025/09/08 🔥 We release IndexTTS-2
  - The first autoregressive TTS model with precise synthesis duration control, supporting both controllable and uncontrollable modes. This functionality is not yet enabled in this release.
  - Highly expressive emotional speech synthesis, with emotion control through multiple input modalities.
- 2025/05/14 🔥 We release IndexTTS-1.5, significantly improving the model's stability and its performance in English.
- 2025/03/25 🔥 We release IndexTTS-1.0 with model weights and inference code.
- 2025/02/12 🎉 We submitted our paper to arXiv, and released our demos and test sets.

🎬 Demos

IndexTTS-2.5: The Future of Voice, Now Generating

IndexTTS-2: The Future of Voice, Now Generating

🚀 Getting Started

1. Prerequisites

Make sure you have git installed, then download
this repository:

bash
git clone https://github.com/index-tts/index-tts.git && cd index-tts

Example audio files are downloaded on demand from HuggingFace/ModelScope the
first time the WebUI starts, so Git LFS is no longer required.

2. Install Dependencies

We use uv to manage
the project's dependency environment. It is required for a reliable
installation:

bash
pip install -U uv  # or see the link above for other install methods

bash
uv sync --all-extras

This automatically creates a .venv project directory and installs the correct
versions of Python and all required dependencies.

If the download is slow, use a local mirror, e.g. one of these mirrors in China:

bash
uv sync --all-extras --default-index "https://mirrors.aliyun.com/pypi/simple"

uv sync --all-extras --default-index "https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple"

> [!TIP]
> Available Extra Features:
>
> - --all-extras: Automatically adds *every* extra feature listed below. You can
>   remove this flag if you want to customize your installation choices.
> - --extra webui: Adds WebUI support (recommended).
> - --extra deepspeed: Adds DeepSpeed support (may speed up inference on some
>   systems).

> [!IMPORTANT]
> Windows: DeepSpeed may be difficult to install. You can skip it by removing
> the

……(后略,见原文)

判断

优势

  • 情感与音色分开给 —— 换情绪不用换参考音
  • 中英双语,中文侧口碑最好的开源 TTS 之一
  • 今天还在提交,是这一类里最活的
  • 情感可以用一句话描述(emo_text),不必去找一段对味的参考音

局限

  • 许可证有营收与月活门槛,还禁止用它的输出去改进别的 AI 模型
  • 只支持中英(issue #418 问其它语言,开着)
  • 推理速度被反复吐槽(issue #96,开着)
  • 只给了 uv 一条安装路,issue #313 就是在问有没有别的(开着);Windows 安装是高频问题(issue #392)

不适用

要做多语种配音的活 —— 目前只有中英两种。

同管这些决定的其它项目

MiniMax H3全模态生成:文字、图片、视频、音频进同一个 Transformer,出带 32kHz…ACE-Step音乐生成基座:文生音乐、歌词编辑、音色复刻、remix。…pyvideotrans识别 → 翻译 → 合成 → 回封装的整条流水线,做跨语言配音与字幕。…LatentSync字节开源的口型同步:音频直接驱动潜空间扩散,不经过中间的运动表示。…Ollama一条命令在本机跑开源大模型。写脚本、翻译这两段靠它才不出本机。…DiffSynth-Studio魔搭扩散模型工程框架,覆盖图像、视频、音乐推理与训练;近期加入 FLUX.3、MOS…MoneyPrinterTurbo给个主题或关键词,一键出高清短视频,含字幕与配音。…NarratoAI用大模型一键解说并剪辑现成视频。…VOZEB PRO把统一创作 Agent、画布、短剧生产线、素材库和商业运营后台放进同一套 Next.…OpenMontage让 Agent 编排视频生产:通过声明式流水线组织素材、生成、字幕、音频与合成。…乘风视频剪辑 Skills用 Claude Code Skills 做的视频剪辑 Agent。中文侧最成型的一…OpenChatCut对话式视频剪辑器,本地优先。你说「第二条音轨第 8 秒加个故障转场」,它就去改那一刀…video-podcast-maker给编码 Agent 用的 skill:给一个主题,出一条 4K 带解说的讲解片。11…ComfyUI 官方工作流模板ComfyUI 内置的那批官方工作流模板与子图蓝图的真身仓库。…ClipForge带货短视频专用的一站式工具:上传商品图,自动提炼卖点、写种草脚本、配音配字幕加背景乐…短视频工厂跨平台桌面应用:给提示词文本加分镜素材,自动剪出产品营销或泛内容短视频。集成文案生成…Open AI UGC生成 UGC 风格的口播广告:用多个视频模型出真人感的 AI 演员念你的脚本。定位是…LiveTalking实时交互流式数字人引擎,音视频同步对话。支持 ernerf、musetalk、wav…Drama Skills面向编剧与漫剧工作室的短剧创作流水线:十个技能把一个点子或一部长篇材料,一路做成分集…PromptLensAI 视频提示词分析工具:丢进一条别人的视频,反推出它的提示词与创作脚本,并做画面分…

github README + GitHub API + LICENSE 原文 + DeepWiki 架构页 · 核验 2026-10-19 | 判断栏可报错。