快讯6 条
快讯3 条 · 可滚动
本站于 2026-10-19 补核;官方发布日期为 2026-10-17。

出处:DeepSeek 官方文档 · 更新日志官方

本站于 2026-10-19 补核;官方发布日期为 2026-10-14。

出处:xAI · API Release Notes官方

本站于 2026-10-19 补核;官方发布日期为 2026-10-13。

出处:Gemini API · Release notes官方

开源项目解析

OpenMontage

让 Agent 编排视频生产:通过声明式流水线组织素材、生成、字幕、音频与合成。

把「怎么拍」写成 Agent 读的文件12 条流水线云端与本地 GPU 双路
AGPL-3.0 传染性许可★ 69.7k 10402 星/月最后更新 2026-10-16 · 距核验日 0 个月仓库 ↗

许可证附加条件:传染性:改了并对外提供服务就要开源

读懂层

2 张 · 架构图 / 流程图

架构图Agent 是怎么被喂懂的

Code Entity Space

Natural Language Space

Natural Language

Reads

Follows

Executes

Instantiates

Persists

User Prompt

AI Agent (Claude/Cursor)

pipeline_defs/*.yaml

skills/pipelines/*.md

tools/tool_registry.py

tools/base_tool.py

lib/checkpoint.py

DeepWiki 架构页 · 抓取 2026-08-16 · 核验 2026-08-16

流程图一次工具调用怎么走

Code Entity Space

Natural Language Space

Queries

Returns available

Implemented by

Returns

'Generate a TTS voice'

tools/audio/tts_selector.py

tools/tool_registry.py

tools/base_tool.py (BaseTool)

tools/audio/elevenlabs_tts.py

tools/base_tool.py (ToolResult)

DeepWiki 架构页 · 抓取 2026-08-16 · 核验 2026-08-16

三层:Agent 读 `skills/` 里的作业指导 → 按 `pipeline_defs/*.yaml` 选流水线 → 经 ToolRegistry 调具体工具(TTS、图、视频、音乐各一组)。成片用 Remotion 合。用户自带素材时会先探每个文件的分辨率、编码、声道、时长,README 原话是「不从文件名幻想内容」。

它管哪几个决定

分镜先出图,再图生视频
8/10 家有官方说法
画面构图线稿 / 姿势 / 深度约束
时长与节奏时长可设,节奏靠剪辑
声音后期配音:改词不重出视频
7/10 家有官方说法

自持能力

权重在不在本地只能调接口
种子能不能填部分路径可填
换掉它要动几处一处

默认走云端接口;工具注册表里换一处就换供应商,也可切本地 GPU

动手层

文档代码结构踩过的坑实测 未做

装它要过哪几关

  1. 1装 FFmpeg`brew install ffmpeg` / `apt install ffmpeg` —— 少了它后面全是合成失败
  2. 2`make setup`没有 make 也行,README 给了 macOS/Linux 与 Windows PowerShell 两条手动命令
  3. 3配 key`.env` 里按供应商填。有 GPU 的话可以不配,切本地 Wan / Hunyuan

改哪个文件能改什么

pipeline_defs/*.yaml流水线定义;改片型与编排从这里开始。
skills/pipelines/*.md给 Agent 看的作业指导 —— 这一层才是它「懂怎么拍」的原因
tools/tool_registry.py有哪些工具可用。换模型供应商改这里

坑在哪一处

带 issue 编号的来自:github issues 按回复数排序 · 核验 2026-08-16

想要「纯实拍素材」的片子README 明写要显式说 use real footage only,并指定 documentary montage / tone poem 这类片型,否则它会去生成画面
依赖装不全FFmpeg、Node、Python、Remotion 四样缺一不可;README 的 `make setup` 是一条龙,手装容易漏 `piper-tts`
许可证AGPL-3.0 —— 自己用没事,做成对外服务就得开源

教程

没找到官方口径的教程 —— 官方只给了 README。

项目自述

以下是仓库 README 的开头部分(原文引用,抓取 2026-08-17)。读全文 ↗

Monty the Clapper — the official mascot of OpenMontage

OpenMontage

The first open-source, agentic video production system.

  Paste A Video  · 
  Quick Start  · 
  Try These Prompts  · 
  Pipelines  · 
  How It Works  · 
  Providers  · 
  Review Guide  · 
  Agent Guide

Follow The Build

Turn your AI coding assistant into a full video production studio. Describe what you want in plain language — your agent handles research, scripting, asset generation, editing, and final composition.

Important distinction: OpenMontage can make image-based videos, but it can also make a real video video for free/open-source workflows: the agent builds a corpus from free stock footage and open archives, retrieves actual motion clips, edits them into a timeline, and renders a finished piece. That is not the usual "animate a handful of stills and call it video" trick.

> "SIGNAL FROM TOMORROW" — a cinematic sci-fi trailer fully produced through OpenMontage: concept, script, scene plan, Veo-generated motion clips, soundtrack, and Remotion composition.

> "THE LAST BANANA" — a 60-second Pixar-style animated short about a lonely banana who finds friendship with a kiwi. 6 Kling v3-generated motion clips (via fal.ai), Google Chirp3-HD narration, royalty-free piano music, TikTok-style word-level captions, and Remotion composition. Total cost: $1.33.

> "OBJECTS IN OVERDRIVE" — a 54-second, music-driven 3D showcase featuring ten objects with distinct choreography: gravity-shifting furniture, frozen car drifts, cloth impacts, refractive lenses, moving gears, an acrobatic robot, and more. Custom Blender animation and physics, kinetic typography, and a phonk soundtrack. Rendered with Blender Eevee/Cycles and assembled with FFmpeg. No narration.

> "Reimagine Your Universe" — a 50-second vertical transformation film in which one visual idea moves across objects, eras, materials, and scale. Five generated motion scenes, sparse Google Chirp narration, a Pixabay score, and a bespoke HyperFrames composition turn separate clips into one authored cinematic journey. Total cost: about $4.

> "Products Come to Life" — a 60-second product film built from approved hero stills. Five hard-surface products separate into their own engineering and reassemble, with each still pinned as the first and last frame so the model invents motion without losing product identity. Image-to-video generation, bespoke sound, narration, and a custom composition complete the film.

> "Imagine the Possibilities with OpenMontage" — seven generated worlds collected into one music-only showcase. Three image models supply campaign, fashion, and miniature-world artwork; four video models expand the journey through architecture, material transformation, a living greenhouse, and a creature encounter. OpenMontage animates the stills, edits the motion, unifies the soundtrack, and closes with Monty the Clapper. Source generation cost: about $5.

> "How Salt Made History" — a 100-second cinematic documentary about the mineral that funded empires, shaped trade routes, sparked revolutions, and gave us the word “salary.” Real-world footage is woven

……(后略,见原文)

判断

优势

  • 提供可修改的流水线定义和工具注册表,适合复用固定片型。
  • 流水线覆盖解说、纪录片式蒙太奇、动画讲解等片型。
  • 云端与本地 GPU 双路,有卡就免费出片
  • 会先探素材真实参数再做创作决定,而不是靠文件名猜

局限

  • AGPL-3.0:改了拿去对外提供服务就得开源
  • 依赖链长(Python + Node + FFmpeg + Remotion),装起来不算轻
  • 画面质量的上限仍然取决于你配的那个模型接口,它本身不生成
  • 生成、配音、素材与合成依赖多套组件,排错需定位具体流水线步骤。

不适用

只想出一条片子的人 —— 它是一套生产系统,装它的成本要摊在很多条片子上才划算。

同管这些决定的其它项目

ComfyUI节点式工作流底座。图像 / 视频 / 音频 / 3D / 文本共用一个底座。…Wan2.2文生 / 图生 / 语音驱动 / 角色动画替换,480P–720P。五个变体。…HunyuanVideo腾讯的开源视频生成模型,文生视频与图生视频。720×1280、129 帧。…FramePack把 13B 视频模型压进 6GB 显存的桌面程序。图生视频,一分钟长度、30 帧。…LTX-VideoLightricks 的视频生成模型,主打快。文生 / 图生 / 视频续写,默认 1…MiniMax H3全模态生成:文字、图片、视频、音频进同一个 Transformer,出带 32kHz…ControlNet给扩散模型加条件控制。九种结构信号:Canny 边缘、直线、HED 边界、涂鸦、人体…IP-Adapter用图片当提示词,锁住风格或人物。仅 22M 参数。…ACE-Step音乐生成基座:文生音乐、歌词编辑、音色复刻、remix。…pyvideotrans识别 → 翻译 → 合成 → 回封装的整条流水线,做跨语言配音与字幕。…Real-ESRGAN通用图像 / 视频超分修复,支持 2× / 3× / 4×,含动漫专用与轻量模型。…Practical-RIFE视频插帧:在两帧之间算出中间帧,把 24 帧的片子补成 48、60 帧。作者是 RI…CodeFormer人脸修复:把糊掉、压坏、老照片里的脸修回来。图片与视频都能做。…LatentSync字节开源的口型同步:音频直接驱动潜空间扩散,不经过中间的运动表示。…IndexTTS2B 站开源的零样本语音合成:给一段参考音就能克隆音色,情感可以单独指定。中英双语。…kohya sd-scripts训练脚本集:覆盖 SD1.x/2.x、SDXL、SD3/3.5、FLUX.1;202…musubi-tuner视频模型的 LoRA 训练器。同一套代码训 Wan 2.1/2.2、HunyuanV…Ollama一条命令在本机跑开源大模型。写脚本、翻译这两段靠它才不出本机。…DiffSynth-Studio魔搭扩散模型工程框架,覆盖图像、视频、音乐推理与训练;近期加入 FLUX.3、MOS…MoneyPrinterTurbo给个主题或关键词,一键出高清短视频,含字幕与配音。…NarratoAI用大模型一键解说并剪辑现成视频。…火宝短剧基于 AI 的一站式短剧生成平台,从剧本到成片全自动化。…ToonflowAI 创作平台:无限画布、AI Agent、可视化工作流,支持图像、视频、分镜和短剧…infinite-canvas面向 AI 创作的无限画布工作台:生图、参考图编辑、视频生成、Agent 助手、画布…open-ai-canvas面向 AI 影视创作的无限画布:多模态生成、分镜编排、素材管理、Agent 工作流。…VOZEB PRO把统一创作 Agent、画布、短剧生产线、素材库和商业运营后台放进同一套 Next.…video-shotcraft为 Claude Code / Codex 提供产品宣传片镜头配方,以网页截图与文案…Generative Media Skills给 Agent(Claude Code / Cursor / Gemini CLI)…乘风视频剪辑 Skills用 Claude Code Skills 做的视频剪辑 Agent。中文侧最成型的一…OpenChatCut对话式视频剪辑器,本地优先。你说「第二条音轨第 8 秒加个故障转场」,它就去改那一刀…video-podcast-maker给编码 Agent 用的 skill:给一个主题,出一条 4K 带解说的讲解片。11…motion-skills动效技能索引:55 个技能分成 18 个安装包,覆盖短视频、数据动画、网页动效、3D…ComfyUI-ManagerComfyUI 的节点管理器:装节点、装模型、修依赖、查注册表。ComfyUI 生态…ComfyUI-WanVideoWrapper把 Wan 系列模型接进 ComfyUI 的节点包。社区里跑 Wan 的事实标准封装…ComfyUI 官方工作流模板ComfyUI 内置的那批官方工作流模板与子图蓝图的真身仓库。…waoowaoo把一部小说灌进去,自动拆角色、拆场景、出分镜,再合成整集短剧。中英双界面。…JellyfishAI 短剧的端到端工作台:从剧本进,到分镜、角色一致性管理、出片、导出。…魔因漫创桌面端 AI 影视工具(Electron):剧本 → 角色 → 场景 → 导演 → …BigBanana AI Director一站式 AI 短剧 / 漫剧工作台,四阶段:剧本 → 视觉资产 → 分镜制作 → 导…ClipForge带货短视频专用的一站式工具:上传商品图,自动提炼卖点、写种草脚本、配音配字幕加背景乐…短视频工厂跨平台桌面应用:给提示词文本加分镜素材,自动剪出产品营销或泛内容短视频。集成文案生成…AI YouTube Shorts Generator把一条长视频切成一批排好序的竖屏短片:用语言模型找高光片段、用 Whisper 转写…Open AI UGC生成 UGC 风格的口播广告:用多个视频模型出真人感的 AI 演员念你的脚本。定位是…ViGenAiR把一条已有的视频广告用生成式 AI 重新剪成适配不同版位与时长的多条。…LiveTalking实时交互流式数字人引擎,音视频同步对话。支持 ernerf、musetalk、wav…Seedance 2.0 Prompt Skills给 Agent 装的 Seedance 2.0 提示词技能:讲输入约束、@ 引用语法…Drama Skills面向编剧与漫剧工作室的短剧创作流水线:十个技能把一个点子或一部长篇材料,一路做成分集…Seedance2 Storyboard Generator开源剧情剧本技能:把故事拆成分镜,并整合成 Seedance 2.0 认的结构化提示…AI Shortfilm Prompts一个 Claude Code 技能:把任意一个想法变成电影语言的、模型直接能用的视频…Awesome Seedance 2 Prompts整理好的 Seedance 2.0 视频提示词库,README 自述逾六千条,覆盖电…歸藏的提示词库中文 AI 圈里流传最广的个人提示词仓库之一,存放作者为各家模型撰写的提示词。…MidJourney 风格与关键词参考一份带示例图的风格与关键词对照表:同一个提示词加不同风格词,画面变成什么样,逐个列出…AI Visual Prompt Cookbook171 套结构化提示词风格、342 张预览;JSON 模板支持 v2.1 / v2.…PromptLensAI 视频提示词分析工具:丢进一条别人的视频,反推出它的提示词与创作脚本,并做画面分…Prompt Engineering Guide提示词工程的系统性指南:教程、论文、课程笔记与可运行的示例。不针对视频,讲的是提示词…蓝书 AI 视频工具包AI 视频提示词、技能与方法论工具包。2026-10-10 README 自述:60…

github README + GitHub API + DeepWiki 架构页 · 核验 2026-10-19 | 判断栏可报错。