开源项目解析
FramePack
把 13B 视频模型压进 6GB 显存的桌面程序。图生视频,一分钟长度、30 帧。
6GB 显存出一分钟显存不随时长增长作者是 ControlNet 作者
读懂层
2 张 · 架构图 / 流程图
DeepWiki 架构页 · 抓取 2026-08-16 · 核验 2026-08-16
DeepWiki 架构页 · 抓取 2026-08-16 · 核验 2026-08-16
两个机制叠起来:下一帧段预测(Next-Frame-Section Prediction)把长视频拆成定长段逐段生成;定长上下文压缩(Constant Context Compression)把已生成的历史压到固定尺寸喂回去。底座是 HunyuanVideo 的 VAE 与文本编码器(LLaMA + CLIP),另接 SiglipVision 读输入图。
它管哪几个决定
分镜先出图,再图生视频
8/10 家有官方说法运动幅度与方向首尾帧约束
4/10 家有官方说法自持能力
权重在不在本地可下载到本地
种子能不能填可填
换掉它要动几处牵一发动全身
本地权重、界面里可填种子;但它和 HunyuanVideo 底座绑得很紧
动手层
文档代码结构踩过的坑实测 未做
装它要过哪几关
- 1装 torch官方给的是 cu126 那条源
- 2装依赖注意力核装不上不影响能跑 —— 默认走 PyTorch attention,xformers / flash-attn / sage 都是可选加速
- 3跑 demo_gradio.py模型自动下,30GB 以上,先把盘腾出来
改哪个文件能改什么
demo_gradio.py主界面与生成入口。demo_gradio_f1.py 是另一条采样路线diffusers_helper/显存调度(高显存全驻留 / 低显存 CPU↔GPU 换进换出)在这里坑在哪一处
带 issue 编号的来自:github issues 按回复数排序 · 核验 2026-08-16
只出了 1 秒README 明写这是预期行为 —— 它在逐段生成,等着就会补齐。这条不读 README 一定会误判成坏了
慢issue #117:3090 上 5 秒视频 16 分钟;issue #151:4060 笔记本慢得离谱,都开着。6GB 能跑不等于跑得快
复杂动作issue #28「Fails to follow prompts to generate complex sequential actions」开着 —— 连续多动作跟不住
Windows 上装加速核issue #138 有人做了一键安装 bat(回复 179 条)、#327 针对 5090 —— 官方没管这一段,社区在补
教程
没找到官方口径的教程 —— 官方只给了 README。
项目自述
以下是仓库 README 的开头部分(原文引用,抓取 2026-08-17)。读全文 ↗
FramePack
Official implementation and desktop software for "Frame Context Packing and Drift Prevention in Next-Frame-Prediction Video Diffusion Models".
Links: Paper, Project Page
FramePack is a next-frame (next-frame-section) prediction neural network structure that generates videos progressively.
FramePack compresses input contexts to a constant length so that the generation workload is invariant to video length.
FramePack can process a very large number of frames with 13B models even on laptop GPUs.
FramePack can be trained with a much larger batch size, similar to the batch size for image diffusion training.
Video diffusion, but feels like image diffusion.
News
2025 July 14: Some pure text2video anti-drifting stress-test results of FramePack-P1 are uploaded here, using common prompts without any reference images.
2025 June 26: Some results of FramePack-P1 are uploaded here. The FramePack-P1 will be the next version of FramePack with two designs: Planned Anti-Drifting and History Discretization.
2025 May 03: The FramePack-F1 is released. Try it here.
Note that this GitHub repository is the only official FramePack website. We do not have any web services. All other websites are spam and fake, including but not limited to framepack.co, frame_pack.co, framepack.net, frame_pack.net, framepack.ai, frame_pack.ai, framepack.pro, frame_pack.pro, framepack.cc, frame_pack.cc,framepackai.co, frame_pack_ai.co, framepackai.net, frame_pack_ai.net, framepackai.pro, frame_pack_ai.pro, framepackai.cc, frame_pack_ai.cc, and so on. Again, they are all spam and fake. Do not pay money or download files from any of those websites.
Requirements
Note that this repo is a functional desktop software with minimal standalone high-quality sampling system and memory management.
Start with this repo before you try anything else!
Requirements:
* Nvidia GPU in RTX 30XX, 40XX, 50XX series that supports fp16 and bf16. The GTX 10XX/20XX are not tested.
* Linux or Windows operating system.
* At least 6GB GPU memory.
To generate 1-minute video (60 seconds) at 30fps (1800 frames) using 13B model, the minimal required GPU memory is 6GB. (Yes 6 GB, not a typo. Laptop GPUs are okay.)
About speed, on my RTX 4090 desktop it generates at a speed of 2.5 seconds/frame (unoptimized) or 1.5 seconds/frame (teacache). On my laptops like 3070ti laptop or 3060 laptop, it is about 4x to 8x slower. Troubleshoot if your speed is much slower than this.
In any case, you will directly see the generated frames since it is next-frame(-section) prediction. So you will get lots of visual feedback before the entire video is generated.
Installation
Windows:
>>> Click Here to Download One-Click Package (CUDA 12.6 + Pytorch 2.6)
Copy this prompt:
The man dances energetically, leaping mid-air with fluid arm swings and quick footwork.
Set like this:
(all default parameters, with teacache turned off)
The result will be:
Video may be compressed by GitHub
Important Note:
Again, this is a next-frame-section prediction model. This means you will generate videos frame-by-frame or section-by-section.
If you get a much shorter video in the UI, like a video with only 1 second,
……(后略,见原文)判断
优势
- 6GB 显存出一分钟视频 —— 这一格没有第二个开源项目做得到
- 笔记本显卡就能跑,作者把它做成了带界面的桌面程序,不是一堆脚本
- 显存占用不随时长增长,这是机制决定的,不是调参调出来的
- Apache-2.0,商用没有灰色地带
局限
- 最后提交日期及距今时间见维护信息;当前页面的底座说明仍以 HunyuanVideo 为准,接入更新模型需另核。
- 慢:issue #117 有人在 3090 上生成 5 秒花了 16 分钟,issue #151 报 4060 笔记本「慢得离谱」
- 复杂的连续动作跟不住提示词(issue #28,开着)
- 开头只出 1 秒是正常的 —— 它在逐段补,但这条 README 得读到才知道,很多人当成坏了
不适用
要接最新底座的人 —— 它停在 HunyuanVideo 那一代,而这一年底座换了好几轮。
同管这些决定的其它项目
ComfyUI节点式工作流底座。图像 / 视频 / 音频 / 3D / 文本共用一个底座。…Wan2.2文生 / 图生 / 语音驱动 / 角色动画替换,480P–720P。五个变体。…HunyuanVideo腾讯的开源视频生成模型,文生视频与图生视频。720×1280、129 帧。…LTX-VideoLightricks 的视频生成模型,主打快。文生 / 图生 / 视频续写,默认 1…MiniMax H3全模态生成:文字、图片、视频、音频进同一个 Transformer,出带 32kHz…Real-ESRGAN通用图像 / 视频超分修复,支持 2× / 3× / 4×,含动漫专用与轻量模型。…Practical-RIFE视频插帧:在两帧之间算出中间帧,把 24 帧的片子补成 48、60 帧。作者是 RI…CodeFormer人脸修复:把糊掉、压坏、老照片里的脸修回来。图片与视频都能做。…MotionCtrl一个模型里分开控制镜头运动与物体运动。支持 SVD、VideoCrafter/LVD…Ollama一条命令在本机跑开源大模型。写脚本、翻译这两段靠它才不出本机。…DiffSynth-Studio魔搭扩散模型工程框架,覆盖图像、视频、音乐推理与训练;近期加入 FLUX.3、MOS…MoneyPrinterTurbo给个主题或关键词,一键出高清短视频,含字幕与配音。…火宝短剧基于 AI 的一站式短剧生成平台,从剧本到成片全自动化。…ToonflowAI 创作平台:无限画布、AI Agent、可视化工作流,支持图像、视频、分镜和短剧…infinite-canvas面向 AI 创作的无限画布工作台:生图、参考图编辑、视频生成、Agent 助手、画布…open-ai-canvas面向 AI 影视创作的无限画布:多模态生成、分镜编排、素材管理、Agent 工作流。…VOZEB PRO把统一创作 Agent、画布、短剧生产线、素材库和商业运营后台放进同一套 Next.…OpenMontage让 Agent 编排视频生产:通过声明式流水线组织素材、生成、字幕、音频与合成。…video-shotcraft为 Claude Code / Codex 提供产品宣传片镜头配方,以网页截图与文案…Generative Media Skills给 Agent(Claude Code / Cursor / Gemini CLI)…ComfyUI-ManagerComfyUI 的节点管理器:装节点、装模型、修依赖、查注册表。ComfyUI 生态…ComfyUI-WanVideoWrapper把 Wan 系列模型接进 ComfyUI 的节点包。社区里跑 Wan 的事实标准封装…ComfyUI 官方工作流模板ComfyUI 内置的那批官方工作流模板与子图蓝图的真身仓库。…waoowaoo把一部小说灌进去,自动拆角色、拆场景、出分镜,再合成整集短剧。中英双界面。…JellyfishAI 短剧的端到端工作台:从剧本进,到分镜、角色一致性管理、出片、导出。…魔因漫创桌面端 AI 影视工具(Electron):剧本 → 角色 → 场景 → 导演 → …BigBanana AI Director一站式 AI 短剧 / 漫剧工作台,四阶段:剧本 → 视觉资产 → 分镜制作 → 导…ClipForge带货短视频专用的一站式工具:上传商品图,自动提炼卖点、写种草脚本、配音配字幕加背景乐…短视频工厂跨平台桌面应用:给提示词文本加分镜素材,自动剪出产品营销或泛内容短视频。集成文案生成…AI YouTube Shorts Generator把一条长视频切成一批排好序的竖屏短片:用语言模型找高光片段、用 Whisper 转写…Open AI UGC生成 UGC 风格的口播广告:用多个视频模型出真人感的 AI 演员念你的脚本。定位是…ViGenAiR把一条已有的视频广告用生成式 AI 重新剪成适配不同版位与时长的多条。…Seedance 2.0 Prompt Skills给 Agent 装的 Seedance 2.0 提示词技能:讲输入约束、@ 引用语法…Drama Skills面向编剧与漫剧工作室的短剧创作流水线:十个技能把一个点子或一部长篇材料,一路做成分集…Seedance2 Storyboard Generator开源剧情剧本技能:把故事拆成分镜,并整合成 Seedance 2.0 认的结构化提示…AI Shortfilm Prompts一个 Claude Code 技能:把任意一个想法变成电影语言的、模型直接能用的视频…Awesome Seedance 2 Prompts整理好的 Seedance 2.0 视频提示词库,README 自述逾六千条,覆盖电…歸藏的提示词库中文 AI 圈里流传最广的个人提示词仓库之一,存放作者为各家模型撰写的提示词。…AI Visual Prompt Cookbook171 套结构化提示词风格、342 张预览;JSON 模板支持 v2.1 / v2.…PromptLensAI 视频提示词分析工具:丢进一条别人的视频,反推出它的提示词与创作脚本,并做画面分…Prompt Engineering Guide提示词工程的系统性指南:教程、论文、课程笔记与可运行的示例。不针对视频,讲的是提示词…蓝书 AI 视频工具包AI 视频提示词、技能与方法论工具包。2026-10-10 README 自述:60…
github README + GitHub API + DeepWiki 架构页 · 核验 2026-10-19 | 判断栏可报错。