开源项目解析
pyvideotrans
识别 → 翻译 → 合成 → 回封装的整条流水线,做跨语言配音与字幕。
识别→翻译→合成→对齐每段可换官方文档站齐全
读懂层
2 张 · 流程图
DeepWiki:九段而非四段 —— README 的概述省略了中间五段 · 核验 2026-08-16
DeepWiki 架构页 · 抓取 2026-08-16 · 核验 2026-08-16
它管哪几个决定
声音后期配音:改词不重出视频
7/10 家有官方说法自持能力
权重在不在本地不涉及模型权重
种子能不能填不涉及
换掉它要动几处几处
三段引擎各自可换本地实现,框架本身不持权重
动手层
文档代码结构踩过的坑实测 未做
装它要过哪几关
- 1Windows 下预编译 exe解压路径不能有中文和空格(官方点名);GPU 加速需要 CUDA 12.8 + cuDNN 9.11
- 2源码装:git clone && uv syncPython 3.10;ffmpeg 必须在环境变量里,或把 ffmpeg.exe/ffprobe.exe 放进项目目录
- 3三个入口按需选`sp.py` 桌面 · `cli.py` 命令行 · `webui.py` 网页
改哪个文件能改什么
videotrans/configure/cfg.json全局设置videotrans/configure/params.json任务参数。批量处理时改这里比在界面上点快videotrans/translator/翻译服务实现。要接自己的翻译接口,照 BaseTrans 加一个坑在哪一处
带 issue 编号的来自:github issues 按回复数排序 · 核验 2026-08-16
九段流水线任一段配错整条链失败:prepare · recogn · diariz · trans · dubbing · align · recogn2pass · assembling · task_done。报错先看停在哪一段
GPU 没被用上装了 CPU 版 torch 就用不上显卡,要先卸载再装 CUDA 版。issue #287:GPU 跑失败会静默退回 CPU —— 表现是「怎么这么慢」而不是报错
large-v3 模型issue #38 标题直接写着「暂勿使用 large-v3 模型」 —— 长音频转写会崩在 list index out of range。模型不是越大越好,这条是维护者自己挂出来的
合并成片issue #923:合并时会把结尾没有声音的画面删掉(已修)—— 片尾留白的片子要检查一下
翻译接口串味issue #43:百度翻译会把时间戳混进译文 —— 换翻译引擎后要抽查字幕文件,不能只看画面
版权责任官方声明:调第三方接口、处理受版权保护的视频,法律后果由使用者承担
教程
官方文档、作者本人的视频,以及 ComfyUI 官方给的原生工作流示例。每条都验过还打得开。
项目自述
以下是仓库 README 的开头部分(原文引用,抓取 2026-08-17)。读全文 ↗
# pyVideoTrans > | Sponsors || > | :--- | :--- | > | Recall.ai Meeting Transcription API | If you’re looking for a transcription API for meetings, consider checking out Recall.ai , an API that works with Zoom, Google Meet, Microsoft Teams, and more | > | OfoxAI: Text, speech, image and video model APIs | Access GPT, Claude, Gemini and DeepSeek text models, ElevenLabs speech models, and image and video generation models with one API key—choose the models that fit your creative needs. | > | infistar - 160+ 模型,一个 Key | infistar 是 OpenAI 兼容中转,一个 Key 随时切 160+ 模型,挑出翻得最准又最省的那个 | A Powerful Open Source Video Translation / Audio Transcription / AI Dubbing / Subtitle Translation Tool 简体中文 | Documentation | Online Q&A pyVideoTrans is dedicated to seamlessly converting videos from one language to another, offering a complete workflow that includes speech recognition, subtitle translation, multi-role dubbing, and audio-video synchronization. It supports both local offline deployment and a wide variety of mainstream online APIs. Core Features > Technical Architecture and Principles - Fully Automatic Video Translation: One-click workflow: Speech Recognition (ASR) → Subtitle Translation → Speech Synthesis (TTS) → Video Synthesis. - Audio Transcription / Subtitle Generation: Batch convert audio/video to SRT subtitles, supporting Speaker Diarization to distinguish between different roles. - ️Multi-Role AI Dubbing: Assign different AI dubbing voices to different speakers. - Voice Cloning: Integrates models like F5-TTS, CosyVoice, GPT-SoVITS for zero-shot voice cloning. - Powerful Model Support: - ASR: Faster-Whisper (Local), OpenAI Whisper, Alibaba Qwen, ByteDance Volcano, Azure, Google, etc. - LLM Translation: DeepSeek, ChatGPT, Claude, Gemini, MiniMax, Ollama (Local), Alibaba Bailian, etc. - TTS: Edge-TTS (Free), OpenAI, Azure, Minimaxi, ChatTTS, ChatterBox, etc. - ️Interactive Editing: Supports pausing and manual proofreading at each stage (recognition, translation, dubbing) to ensure accuracy. - ️Utility Toolkit: Includes auxiliary tools such as vocal separation, video/subtitle merging, audio-video alignment, and transcript matching. - Command Line Interface (CLI): Supports headless operation, convenient for server deployment or batch processing. - Web Interface (WebUI): Browser-based interface for remote access or internal network deployment. Quick Start (Windows Users) We provide a pre-packaged .exe version for Windows 10/11 users, requiring no Python environment configuration. 1. Download: Click to download the latest pre-packaged version 2. Unzip: Extract the compressed file to a path without Chinese characters or spaces (e.g., D:\pyVideoTrans). 3. Run: Double-click sp.exe inside the folder to launch. > Note: > * Do not run directly from within the compressed archive. > * To use GPU acceleration(NVIDIA GPU only), ensure CUDA 12.8 and cuDNN 9.11 are installed. ️ Source Deployment (macOS / Linux / Windows Developers) We recommend using uv for package management for faster speed and better environment isolation. 1. Prerequisites * Python: Recommended version 3.10 * FFmpeg: Must be installed and configured in the environment variables ……(后略,见原文)
判断
优势
- 识别、翻译、合成三段各自可换,不锁定任何一家
- 本地引擎齐全,素材可以完全不出本机
- 跨平台,Windows 上也不用折腾
局限
- GPL-3.0 具传染性
- 调第三方 API 处理受版权保护的视频,责任在使用者(官方明示)
- 段数多,任一段配错整条链路失败
不适用
只需要单段能力(只要转写、或只要配音)时 —— 装整条太重。
同管这些决定的其它项目
MiniMax H3全模态生成:文字、图片、视频、音频进同一个 Transformer,出带 32kHz…ACE-Step音乐生成基座:文生音乐、歌词编辑、音色复刻、remix。…LatentSync字节开源的口型同步:音频直接驱动潜空间扩散,不经过中间的运动表示。…IndexTTS2B 站开源的零样本语音合成:给一段参考音就能克隆音色,情感可以单独指定。中英双语。…Ollama一条命令在本机跑开源大模型。写脚本、翻译这两段靠它才不出本机。…DiffSynth-Studio魔搭扩散模型工程框架,覆盖图像、视频、音乐推理与训练;近期加入 FLUX.3、MOS…MoneyPrinterTurbo给个主题或关键词,一键出高清短视频,含字幕与配音。…NarratoAI用大模型一键解说并剪辑现成视频。…VOZEB PRO把统一创作 Agent、画布、短剧生产线、素材库和商业运营后台放进同一套 Next.…OpenMontage让 Agent 编排视频生产:通过声明式流水线组织素材、生成、字幕、音频与合成。…乘风视频剪辑 Skills用 Claude Code Skills 做的视频剪辑 Agent。中文侧最成型的一…OpenChatCut对话式视频剪辑器,本地优先。你说「第二条音轨第 8 秒加个故障转场」,它就去改那一刀…video-podcast-maker给编码 Agent 用的 skill:给一个主题,出一条 4K 带解说的讲解片。11…ComfyUI 官方工作流模板ComfyUI 内置的那批官方工作流模板与子图蓝图的真身仓库。…ClipForge带货短视频专用的一站式工具:上传商品图,自动提炼卖点、写种草脚本、配音配字幕加背景乐…短视频工厂跨平台桌面应用:给提示词文本加分镜素材,自动剪出产品营销或泛内容短视频。集成文案生成…Open AI UGC生成 UGC 风格的口播广告:用多个视频模型出真人感的 AI 演员念你的脚本。定位是…LiveTalking实时交互流式数字人引擎,音视频同步对话。支持 ernerf、musetalk、wav…Drama Skills面向编剧与漫剧工作室的短剧创作流水线:十个技能把一个点子或一部长篇材料,一路做成分集…PromptLensAI 视频提示词分析工具:丢进一条别人的视频,反推出它的提示词与创作脚本,并做画面分…
github README + DeepWiki 架构页 · 核验 2026-10-19 | 判断栏可报错。