快讯6 条
快讯3 条 · 可滚动
本站于 2026-10-19 补核;官方发布日期为 2026-10-17。

出处:DeepSeek 官方文档 · 更新日志官方

本站于 2026-10-19 补核;官方发布日期为 2026-10-14。

出处:xAI · API Release Notes官方

本站于 2026-10-19 补核;官方发布日期为 2026-10-13。

出处:Gemini API · Release notes官方

开源项目解析

LTX-Video

Lightricks 的视频生成模型,主打快。文生 / 图生 / 视频续写,默认 1216×704、30 帧。

主打快8GB 卡一分钟出 121 帧拿质量换速度
Apache-2.0 可商用★ 11.1k 485 星/月最后更新 2026-01-05 · 距核验日 9 个月仓库 ↗

许可证附加条件:代码 Apache-2.0;部分权重另按 OpenRail-M 发布

读懂层

2 张 · 架构图 / 流程图

架构图接口与管线怎么摆

Core Components

Text Prompts,
Images,
Videos

Standard

Multi-scale

User Interfaces

inference.py
(main script)

ComfyUI-LTXVideo
(nodes)

Diffusers API
(HuggingFace)

LTX-Studio
Fal.ai
Replicate

User

Interfaces

InferenceConfig
(dataclass)

Pipeline Type

LTXVideoPipeline
(main pipeline)

LTXMultiScalePipeline
(upscaling)

T5EncoderModel
(text encoding)

PromptEnhancer
(Florence-2 + Llama)

Transformer3DModel
(main model)

CausalVideoAutoencoder
(VAE)

RectifiedFlowScheduler
(timestep scheduling)

SymmetricPatchifier
(patch processing)

BasicTransformerBlock
(attention layers)

LatentUpsampler
(spatial/temporal)

CoreComponents

Generated Video
(.mp4)

DeepWiki 架构页 · 抓取 2026-08-16 · 核验 2026-08-16

流程图一次生成走过哪几步

Diffusion Loop

Latent Space Processing

No

Yes

InferenceConfig
(user input)

prompt_enhance
(if enabled)

T5EncoderModel
(__call__)

Text Embeddings
(tensor)

CausalVideoAutoencoder
(encode)

Latent Tensor
(B, C, T, H, W)

SymmetricPatchifier
(patchify)

Patch Tokens
(B, N, D)

RectifiedFlowScheduler
(timesteps)

Transformer3DModel
(forward)

BasicTransformerBlock
(self/cross attention)

Skip Layer Strategy
(attention optimization)

RectifiedFlowScheduler
(step)

timestep == 0?

Denoised Latents

SymmetricPatchifier
(unpatchify)

CausalVideoAutoencoder
(decode)

Output Video
(torch.Tensor)

DeepWiki 架构页 · 抓取 2026-08-16 · 核验 2026-08-16

T5 编码文本,CausalVideoAutoencoder 编解码视频,中间是 Transformer3DModel。配置走 yaml(`configs/ltxv-*.yaml`),换模型变体就是换一个配置文件。

它管哪几个决定

分镜先出图,再图生视频
8/10 家有官方说法
运动幅度与方向首尾帧约束
4/10 家有官方说法
结果可复现权重与随机种子在本地
2/10 家有官方说法

自持能力

权重在不在本地可下载到本地
种子能不能填可填
换掉它要动几处几处

权重可下载,--seed 是命令行参数,模型变体靠换 yaml 配置

动手层

文档代码结构踩过的坑实测 未做

装它要过哪几关

  1. 1建虚拟环境`python -m venv env`,官方给的就是这条
  2. 2装包`pip install -e .[inference]`。FP8 加速核在另一个仓库(LTXVideo-Q8-Kernels),要 Ada 及以后的卡
  3. 3跑 inference.py变体靠 `--pipeline_config` 指配置文件,蒸馏版和完整版是两个 yaml

改哪个文件能改什么

inference.py命令行入口。参数(含 --seed、--conditioning_start_frames)从这里查
configs/*.yaml模型变体与采样参数。换模型 = 换这个文件,不改代码
ltx_video/管线本体:LTXVideoPipeline、CausalVideoAutoencoder、Transformer3DModel

坑在哪一处

带 issue 编号的来自:github issues 按回复数排序 · 核验 2026-08-16

信「1GB 显存」issue #4「VRAM info」回复 24 条(已关闭)—— 那是蒸馏 + 量化之后的极限口径,不是默认配置
13B 出片发怪issue #173「Weird video out put with ltx 13b model」开着
用 FP8 核issue #231:FP8Linear.forward() 参数不匹配,开着
等 LTX-2 开源issue #256「When is LTX2 going to be open-sourced?」已关闭 —— 这个仓库停在 7 个月前

教程

官方文档、作者本人的视频,以及 ComfyUI 官方给的原生工作流示例。每条都验过还打得开。

项目自述

以下是仓库 README 的开头部分(原文引用,抓取 2026-08-17)。读全文 ↗

LTX-Video

This is the official repository for LTX-Video.

🚀 New: LTX-2 is Now Available!

We're excited to announce LTX-2 - the next generation of LTX with synchronized audio+video generation!

LTX-2 is the first DiT-based audio-video foundation model that contains all core capabilities of modern video generation in one model. LTX-2 is now the primary home for LTX development and includes significant improvements:

- 🎵 Synchronized Audio+Video Generation - Generate videos with perfectly synchronized audio
- 🎬 Latest Model - LTX-2 with improved quality and capabilities
- 🔌 ComfyUI Integration - Built into ComfyUI core for seamless workflows
- 🎯 Advanced Features:
  - Multiple keyframe support
  - IC-LoRA control models for precise generation
  - Standard LoRA support for style customization
  - Latent upsampler for multiscale pipelines
- 🛠️ Training Tools - LoRA training capabilities
- 📚 Comprehensive Documentation - Full documentation at https://docs.ltx.video
- 🔄 Active Development - Ongoing improvements and community support

👉 Check out LTX-2 here

📖 View Documentation

Table of Contents

- Introduction
- What's New
- Models
- Quick Start Guide
  - Online demo
  - Run locally
    - Installation
    - Inference
  - ComfyUI Integration
  - Diffusers Integration
- Model User Guide
- Community Contribution
- Training
- Control Models
- Join Us!
- Acknowledgement

Introduction

LTX-Video is the first DiT-based video generation model that contains all core capabilities of modern video generation in one model: synchronized audio and video, high fidelity, multiple performance modes, production-ready outputs, API access, and open access. It can generate up to 50 FPS videos at native 4K resolution with synchronized audio in one pass.
The model is trained on a large-scale dataset of diverse videos and can generate high-resolution videos with realistic and diverse content.

The model supports image-to-video, multi-keyframe conditioning, keyframe-based animation, video extension (both forward and backward), video-to-video transformations, and any combination of these features.

Image-to-video examples

Controlled video examples

News

October 23, 2025: LTX-2 Announced

Today we announced our newest foundation model, LTX-2. LTX-2 represents a major leap forward from our previous model, LTXV 0.9.8. Here’s what’s new:
* Audio + Video, Together: Visuals and sound are generated in one coherent process, with motion, dialogue, ambience, and music flowing simultaneously.
* 4K Fidelity: Professional-grade precision with native 4K and up to 50 fps, sharp textures, clean motion, and synchronized audio.
* Longer Generations: LTX-2 supports longer, continuous clips with synchronized audio up to 10 seconds.
* Low Cost & Efficiency: Up to 50% lower compute cost than competing models, powered by a multi-GPU inference stack.
* Creative Control: Multi-keyframe conditioning, 3D camera logic, and LoRA fine-tuning deliver frame-level precision and style consistency.

For more details, please see our blog post. LTX-2 model weights, code, and benchmarks will be released to the community later in 2025. 

July, 16th, 2025: New Distilled models v0.9.8 with up to 60 s

……(后略,见原文)

判断

优势

  • 快:8GB 卡上不到一分钟出 121 帧,这一类里没有第二个
  • 首尾帧、多段条件都通过 `--conditioning_media_paths` 一个参数给,接口统一
  • 代码 Apache-2.0;蒸馏版 + FP8 一路做到消费级显卡
  • 0.9.8 起支持最长 60 秒

局限

  • 已经停更 7 个月,而 LTX-2 迟迟没开源(issue #256 问的就是这个,已关闭)
  • 「1GB 显存」是官方口径,issue #4「VRAM info」回复 24 条 —— 实际要多少一直在被追问
  • 13B 版出片质量被报不稳(issue #173,开着)
  • FP8 那条路有接口不匹配的报错(issue #231,开着)

不适用

要最高画质的活 —— 它的取舍从头到尾都是拿质量换速度。

同管这些决定的其它项目

ComfyUI节点式工作流底座。图像 / 视频 / 音频 / 3D / 文本共用一个底座。…Wan2.2文生 / 图生 / 语音驱动 / 角色动画替换,480P–720P。五个变体。…HunyuanVideo腾讯的开源视频生成模型,文生视频与图生视频。720×1280、129 帧。…FramePack把 13B 视频模型压进 6GB 显存的桌面程序。图生视频,一分钟长度、30 帧。…MiniMax H3全模态生成:文字、图片、视频、音频进同一个 Transformer,出带 32kHz…Real-ESRGAN通用图像 / 视频超分修复,支持 2× / 3× / 4×,含动漫专用与轻量模型。…Practical-RIFE视频插帧:在两帧之间算出中间帧,把 24 帧的片子补成 48、60 帧。作者是 RI…CodeFormer人脸修复:把糊掉、压坏、老照片里的脸修回来。图片与视频都能做。…MotionCtrl一个模型里分开控制镜头运动与物体运动。支持 SVD、VideoCrafter/LVD…Ollama一条命令在本机跑开源大模型。写脚本、翻译这两段靠它才不出本机。…DiffSynth-Studio魔搭扩散模型工程框架,覆盖图像、视频、音乐推理与训练;近期加入 FLUX.3、MOS…MoneyPrinterTurbo给个主题或关键词,一键出高清短视频,含字幕与配音。…火宝短剧基于 AI 的一站式短剧生成平台,从剧本到成片全自动化。…ToonflowAI 创作平台:无限画布、AI Agent、可视化工作流,支持图像、视频、分镜和短剧…infinite-canvas面向 AI 创作的无限画布工作台:生图、参考图编辑、视频生成、Agent 助手、画布…open-ai-canvas面向 AI 影视创作的无限画布:多模态生成、分镜编排、素材管理、Agent 工作流。…VOZEB PRO把统一创作 Agent、画布、短剧生产线、素材库和商业运营后台放进同一套 Next.…OpenMontage让 Agent 编排视频生产:通过声明式流水线组织素材、生成、字幕、音频与合成。…video-shotcraft为 Claude Code / Codex 提供产品宣传片镜头配方,以网页截图与文案…Generative Media Skills给 Agent(Claude Code / Cursor / Gemini CLI)…ComfyUI-ManagerComfyUI 的节点管理器:装节点、装模型、修依赖、查注册表。ComfyUI 生态…ComfyUI-WanVideoWrapper把 Wan 系列模型接进 ComfyUI 的节点包。社区里跑 Wan 的事实标准封装…ComfyUI 官方工作流模板ComfyUI 内置的那批官方工作流模板与子图蓝图的真身仓库。…waoowaoo把一部小说灌进去,自动拆角色、拆场景、出分镜,再合成整集短剧。中英双界面。…JellyfishAI 短剧的端到端工作台:从剧本进,到分镜、角色一致性管理、出片、导出。…魔因漫创桌面端 AI 影视工具(Electron):剧本 → 角色 → 场景 → 导演 → …BigBanana AI Director一站式 AI 短剧 / 漫剧工作台,四阶段:剧本 → 视觉资产 → 分镜制作 → 导…ClipForge带货短视频专用的一站式工具:上传商品图,自动提炼卖点、写种草脚本、配音配字幕加背景乐…短视频工厂跨平台桌面应用:给提示词文本加分镜素材,自动剪出产品营销或泛内容短视频。集成文案生成…AI YouTube Shorts Generator把一条长视频切成一批排好序的竖屏短片:用语言模型找高光片段、用 Whisper 转写…Open AI UGC生成 UGC 风格的口播广告:用多个视频模型出真人感的 AI 演员念你的脚本。定位是…ViGenAiR把一条已有的视频广告用生成式 AI 重新剪成适配不同版位与时长的多条。…Seedance 2.0 Prompt Skills给 Agent 装的 Seedance 2.0 提示词技能:讲输入约束、@ 引用语法…Drama Skills面向编剧与漫剧工作室的短剧创作流水线:十个技能把一个点子或一部长篇材料,一路做成分集…Seedance2 Storyboard Generator开源剧情剧本技能:把故事拆成分镜,并整合成 Seedance 2.0 认的结构化提示…AI Shortfilm Prompts一个 Claude Code 技能:把任意一个想法变成电影语言的、模型直接能用的视频…Awesome Seedance 2 Prompts整理好的 Seedance 2.0 视频提示词库,README 自述逾六千条,覆盖电…歸藏的提示词库中文 AI 圈里流传最广的个人提示词仓库之一,存放作者为各家模型撰写的提示词。…AI Visual Prompt Cookbook171 套结构化提示词风格、342 张预览;JSON 模板支持 v2.1 / v2.…PromptLensAI 视频提示词分析工具:丢进一条别人的视频,反推出它的提示词与创作脚本,并做画面分…Prompt Engineering Guide提示词工程的系统性指南:教程、论文、课程笔记与可运行的示例。不针对视频,讲的是提示词…蓝书 AI 视频工具包AI 视频提示词、技能与方法论工具包。2026-10-10 README 自述:60…

github README + GitHub API + LICENSE 原文 + DeepWiki 架构页 · 核验 2026-10-19 | 判断栏可报错。