开源项目解析
OpenMontage
让 Agent 编排视频生产:通过声明式流水线组织素材、生成、字幕、音频与合成。
把「怎么拍」写成 Agent 读的文件12 条流水线云端与本地 GPU 双路
许可证附加条件:传染性:改了并对外提供服务就要开源
读懂层
2 张 · 架构图 / 流程图
DeepWiki 架构页 · 抓取 2026-08-16 · 核验 2026-08-16
DeepWiki 架构页 · 抓取 2026-08-16 · 核验 2026-08-16
三层:Agent 读 `skills/` 里的作业指导 → 按 `pipeline_defs/*.yaml` 选流水线 → 经 ToolRegistry 调具体工具(TTS、图、视频、音乐各一组)。成片用 Remotion 合。用户自带素材时会先探每个文件的分辨率、编码、声道、时长,README 原话是「不从文件名幻想内容」。
它管哪几个决定
自持能力
权重在不在本地只能调接口
种子能不能填部分路径可填
换掉它要动几处一处
默认走云端接口;工具注册表里换一处就换供应商,也可切本地 GPU
动手层
文档代码结构踩过的坑实测 未做
装它要过哪几关
- 1装 FFmpeg`brew install ffmpeg` / `apt install ffmpeg` —— 少了它后面全是合成失败
- 2`make setup`没有 make 也行,README 给了 macOS/Linux 与 Windows PowerShell 两条手动命令
- 3配 key`.env` 里按供应商填。有 GPU 的话可以不配,切本地 Wan / Hunyuan
改哪个文件能改什么
pipeline_defs/*.yaml流水线定义;改片型与编排从这里开始。skills/pipelines/*.md给 Agent 看的作业指导 —— 这一层才是它「懂怎么拍」的原因tools/tool_registry.py有哪些工具可用。换模型供应商改这里坑在哪一处
带 issue 编号的来自:github issues 按回复数排序 · 核验 2026-08-16
想要「纯实拍素材」的片子README 明写要显式说 use real footage only,并指定 documentary montage / tone poem 这类片型,否则它会去生成画面
依赖装不全FFmpeg、Node、Python、Remotion 四样缺一不可;README 的 `make setup` 是一条龙,手装容易漏 `piper-tts`
许可证AGPL-3.0 —— 自己用没事,做成对外服务就得开源
教程
没找到官方口径的教程 —— 官方只给了 README。
项目自述
以下是仓库 README 的开头部分(原文引用,抓取 2026-08-17)。读全文 ↗
Monty the Clapper — the official mascot of OpenMontage OpenMontage The first open-source, agentic video production system. Paste A Video · Quick Start · Try These Prompts · Pipelines · How It Works · Providers · Review Guide · Agent Guide Follow The Build Turn your AI coding assistant into a full video production studio. Describe what you want in plain language — your agent handles research, scripting, asset generation, editing, and final composition. Important distinction: OpenMontage can make image-based videos, but it can also make a real video video for free/open-source workflows: the agent builds a corpus from free stock footage and open archives, retrieves actual motion clips, edits them into a timeline, and renders a finished piece. That is not the usual "animate a handful of stills and call it video" trick. > "SIGNAL FROM TOMORROW" — a cinematic sci-fi trailer fully produced through OpenMontage: concept, script, scene plan, Veo-generated motion clips, soundtrack, and Remotion composition. > "THE LAST BANANA" — a 60-second Pixar-style animated short about a lonely banana who finds friendship with a kiwi. 6 Kling v3-generated motion clips (via fal.ai), Google Chirp3-HD narration, royalty-free piano music, TikTok-style word-level captions, and Remotion composition. Total cost: $1.33. > "OBJECTS IN OVERDRIVE" — a 54-second, music-driven 3D showcase featuring ten objects with distinct choreography: gravity-shifting furniture, frozen car drifts, cloth impacts, refractive lenses, moving gears, an acrobatic robot, and more. Custom Blender animation and physics, kinetic typography, and a phonk soundtrack. Rendered with Blender Eevee/Cycles and assembled with FFmpeg. No narration. > "Reimagine Your Universe" — a 50-second vertical transformation film in which one visual idea moves across objects, eras, materials, and scale. Five generated motion scenes, sparse Google Chirp narration, a Pixabay score, and a bespoke HyperFrames composition turn separate clips into one authored cinematic journey. Total cost: about $4. > "Products Come to Life" — a 60-second product film built from approved hero stills. Five hard-surface products separate into their own engineering and reassemble, with each still pinned as the first and last frame so the model invents motion without losing product identity. Image-to-video generation, bespoke sound, narration, and a custom composition complete the film. > "Imagine the Possibilities with OpenMontage" — seven generated worlds collected into one music-only showcase. Three image models supply campaign, fashion, and miniature-world artwork; four video models expand the journey through architecture, material transformation, a living greenhouse, and a creature encounter. OpenMontage animates the stills, edits the motion, unifies the soundtrack, and closes with Monty the Clapper. Source generation cost: about $5. > "How Salt Made History" — a 100-second cinematic documentary about the mineral that funded empires, shaped trade routes, sparked revolutions, and gave us the word “salary.” Real-world footage is woven ……(后略,见原文)
判断
优势
- 提供可修改的流水线定义和工具注册表,适合复用固定片型。
- 流水线覆盖解说、纪录片式蒙太奇、动画讲解等片型。
- 云端与本地 GPU 双路,有卡就免费出片
- 会先探素材真实参数再做创作决定,而不是靠文件名猜
局限
- AGPL-3.0:改了拿去对外提供服务就得开源
- 依赖链长(Python + Node + FFmpeg + Remotion),装起来不算轻
- 画面质量的上限仍然取决于你配的那个模型接口,它本身不生成
- 生成、配音、素材与合成依赖多套组件,排错需定位具体流水线步骤。
不适用
只想出一条片子的人 —— 它是一套生产系统,装它的成本要摊在很多条片子上才划算。
同管这些决定的其它项目
ComfyUI节点式工作流底座。图像 / 视频 / 音频 / 3D / 文本共用一个底座。…Wan2.2文生 / 图生 / 语音驱动 / 角色动画替换,480P–720P。五个变体。…HunyuanVideo腾讯的开源视频生成模型,文生视频与图生视频。720×1280、129 帧。…FramePack把 13B 视频模型压进 6GB 显存的桌面程序。图生视频,一分钟长度、30 帧。…LTX-VideoLightricks 的视频生成模型,主打快。文生 / 图生 / 视频续写,默认 1…MiniMax H3全模态生成:文字、图片、视频、音频进同一个 Transformer,出带 32kHz…ControlNet给扩散模型加条件控制。九种结构信号:Canny 边缘、直线、HED 边界、涂鸦、人体…IP-Adapter用图片当提示词,锁住风格或人物。仅 22M 参数。…ACE-Step音乐生成基座:文生音乐、歌词编辑、音色复刻、remix。…pyvideotrans识别 → 翻译 → 合成 → 回封装的整条流水线,做跨语言配音与字幕。…Real-ESRGAN通用图像 / 视频超分修复,支持 2× / 3× / 4×,含动漫专用与轻量模型。…Practical-RIFE视频插帧:在两帧之间算出中间帧,把 24 帧的片子补成 48、60 帧。作者是 RI…CodeFormer人脸修复:把糊掉、压坏、老照片里的脸修回来。图片与视频都能做。…LatentSync字节开源的口型同步:音频直接驱动潜空间扩散,不经过中间的运动表示。…IndexTTS2B 站开源的零样本语音合成:给一段参考音就能克隆音色,情感可以单独指定。中英双语。…kohya sd-scripts训练脚本集:覆盖 SD1.x/2.x、SDXL、SD3/3.5、FLUX.1;202…musubi-tuner视频模型的 LoRA 训练器。同一套代码训 Wan 2.1/2.2、HunyuanV…Ollama一条命令在本机跑开源大模型。写脚本、翻译这两段靠它才不出本机。…DiffSynth-Studio魔搭扩散模型工程框架,覆盖图像、视频、音乐推理与训练;近期加入 FLUX.3、MOS…MoneyPrinterTurbo给个主题或关键词,一键出高清短视频,含字幕与配音。…NarratoAI用大模型一键解说并剪辑现成视频。…火宝短剧基于 AI 的一站式短剧生成平台,从剧本到成片全自动化。…ToonflowAI 创作平台:无限画布、AI Agent、可视化工作流,支持图像、视频、分镜和短剧…infinite-canvas面向 AI 创作的无限画布工作台:生图、参考图编辑、视频生成、Agent 助手、画布…open-ai-canvas面向 AI 影视创作的无限画布:多模态生成、分镜编排、素材管理、Agent 工作流。…VOZEB PRO把统一创作 Agent、画布、短剧生产线、素材库和商业运营后台放进同一套 Next.…video-shotcraft为 Claude Code / Codex 提供产品宣传片镜头配方,以网页截图与文案…Generative Media Skills给 Agent(Claude Code / Cursor / Gemini CLI)…乘风视频剪辑 Skills用 Claude Code Skills 做的视频剪辑 Agent。中文侧最成型的一…OpenChatCut对话式视频剪辑器,本地优先。你说「第二条音轨第 8 秒加个故障转场」,它就去改那一刀…video-podcast-maker给编码 Agent 用的 skill:给一个主题,出一条 4K 带解说的讲解片。11…motion-skills动效技能索引:55 个技能分成 18 个安装包,覆盖短视频、数据动画、网页动效、3D…ComfyUI-ManagerComfyUI 的节点管理器:装节点、装模型、修依赖、查注册表。ComfyUI 生态…ComfyUI-WanVideoWrapper把 Wan 系列模型接进 ComfyUI 的节点包。社区里跑 Wan 的事实标准封装…ComfyUI 官方工作流模板ComfyUI 内置的那批官方工作流模板与子图蓝图的真身仓库。…waoowaoo把一部小说灌进去,自动拆角色、拆场景、出分镜,再合成整集短剧。中英双界面。…JellyfishAI 短剧的端到端工作台:从剧本进,到分镜、角色一致性管理、出片、导出。…魔因漫创桌面端 AI 影视工具(Electron):剧本 → 角色 → 场景 → 导演 → …BigBanana AI Director一站式 AI 短剧 / 漫剧工作台,四阶段:剧本 → 视觉资产 → 分镜制作 → 导…ClipForge带货短视频专用的一站式工具:上传商品图,自动提炼卖点、写种草脚本、配音配字幕加背景乐…短视频工厂跨平台桌面应用:给提示词文本加分镜素材,自动剪出产品营销或泛内容短视频。集成文案生成…AI YouTube Shorts Generator把一条长视频切成一批排好序的竖屏短片:用语言模型找高光片段、用 Whisper 转写…Open AI UGC生成 UGC 风格的口播广告:用多个视频模型出真人感的 AI 演员念你的脚本。定位是…ViGenAiR把一条已有的视频广告用生成式 AI 重新剪成适配不同版位与时长的多条。…LiveTalking实时交互流式数字人引擎,音视频同步对话。支持 ernerf、musetalk、wav…Seedance 2.0 Prompt Skills给 Agent 装的 Seedance 2.0 提示词技能:讲输入约束、@ 引用语法…Drama Skills面向编剧与漫剧工作室的短剧创作流水线:十个技能把一个点子或一部长篇材料,一路做成分集…Seedance2 Storyboard Generator开源剧情剧本技能:把故事拆成分镜,并整合成 Seedance 2.0 认的结构化提示…AI Shortfilm Prompts一个 Claude Code 技能:把任意一个想法变成电影语言的、模型直接能用的视频…Awesome Seedance 2 Prompts整理好的 Seedance 2.0 视频提示词库,README 自述逾六千条,覆盖电…歸藏的提示词库中文 AI 圈里流传最广的个人提示词仓库之一,存放作者为各家模型撰写的提示词。…MidJourney 风格与关键词参考一份带示例图的风格与关键词对照表:同一个提示词加不同风格词,画面变成什么样,逐个列出…AI Visual Prompt Cookbook171 套结构化提示词风格、342 张预览;JSON 模板支持 v2.1 / v2.…PromptLensAI 视频提示词分析工具:丢进一条别人的视频,反推出它的提示词与创作脚本,并做画面分…Prompt Engineering Guide提示词工程的系统性指南:教程、论文、课程笔记与可运行的示例。不针对视频,讲的是提示词…蓝书 AI 视频工具包AI 视频提示词、技能与方法论工具包。2026-10-10 README 自述:60…
github README + GitHub API + DeepWiki 架构页 · 核验 2026-10-19 | 判断栏可报错。