快讯6 条
快讯3 条 · 可滚动
本站于 2026-10-19 补核;官方发布日期为 2026-10-17。

出处:DeepSeek 官方文档 · 更新日志官方

本站于 2026-10-19 补核;官方发布日期为 2026-10-14。

出处:xAI · API Release Notes官方

本站于 2026-10-19 补核;官方发布日期为 2026-10-13。

出处:Gemini API · Release notes官方

开源项目解析

MiniMax H3

全模态生成:文字、图片、视频、音频进同一个 Transformer,出带 32kHz 立体声的视频。24 帧、4–15 秒、短边 768。

音画同出,不是后期配音只开源了三段里的中间一段许可证按地区排除
MiniMax H3 Community License 有条件商用★ 10.1k 3812 星/月最后更新 2026-08-15 · 距核验日 2 个月仓库 ↗

许可证附加条件:排除欧盟 / 英国 / 韩国 / 美国;年营收超 2000 万美元需另行书面授权

读懂层

2 张 · 架构图 / 时序图

架构图输入到主干怎么摆

Code Entities: Transformer Core

Code Entities: Preprocessing

Input Modalities

Hidden States (Layer 50)

Text Input

Image Inputs (<= 9)

Video Clips (<= 3)

Audio Clips (<= 3)

Qwen2TokenizerFast

Qwen3VLProcessor

MiniMaxH3Qwen3VLHFEncoder

MiniMaxH3DiTModel

AdaLN Modulation

MM-RoPE Embeddings

DeepWiki 架构页 · 抓取 2026-08-16 · 核验 2026-08-16

时序图三段流水线谁先谁后
H3-Regenerate-2K (2K)H3-Base (768p)H3-Context-IRUserMultimodal Instructions (Text/Img/Vid)Context Intermediate Representation768p Video + Audio LatentsFinal 2K Omni-modal Video

DeepWiki 架构页 · 抓取 2026-08-16 · 核验 2026-08-16

H3-Omni-Transformer 是 33B 稠密单流结构,其中 AdaLN 调制约占 13B。文字走 Qwen2TokenizerFast,图/视频/音频走 Qwen3VLProcessor,两路汇进 MiniMaxH3Qwen3VLHFEncoder,取第 50 层隐状态喂给 MiniMaxH3DiTModel;视频与音频各有一个 VAE 解码。训练最后阶段用了原生稀疏注意力,但**稀疏实现没随首发开源**,现在跑的是全注意力。

它管哪几个决定

分镜先出图,再图生视频
8/10 家有官方说法
角色跨镜头一致角色参考 · 多参考 · LoRA
7/10 家有官方说法
运动幅度与方向首尾帧约束
4/10 家有官方说法
声音后期配音:改词不重出视频
7/10 家有官方说法
结果可复现权重与随机种子在本地
2/10 家有官方说法

自持能力

权重在不在本地可下载到本地
种子能不能填可填
换掉它要动几处几处

权重可下载,seed 是请求体参数;但整条链路要原样复刻还得配它的云端 Context-IR

动手层

文档代码结构踩过的坑实测 未做

装它要过哪几关

  1. 1拉权重`hf download MiniMaxAI/MiniMax-H3 --include "model_index.json" "FL2VA/*" "Ref2VA/*"` —— 两个变体是分开的:FL2VA 管文生 / 首尾帧,Ref2VA 管参考生成
  2. 2起服务`sglang serve --num-gpus 4 --ulysses-degree 4 --model-variant fl2va`。`--model-variant` 要和你想跑的任务对上,两个变体各占一个端口
  3. 3发请求POST `/v1/videos`,body 里 `task` 填 fl2va / ref2va,`target.short_edge` 默认 768。要 2K 得再调官方的 regeneration 接口,本地这一段出不了 2K

改哪个文件能改什么

transformer/MiniMaxH3DiTModel 主干。要看 AdaLN 调制怎么切,看这里
vae/ 与 audio_vae/画面和声音各一个解码器 —— 音频是生成出来的,不是后期配上去的
scripts/readme/官方给的 18 个示例脚本,`reproducible-768p-*` 那三个是可复现口径的模板

坑在哪一处

带 issue 编号的来自:github issues 按回复数排序 · 核验 2026-08-16

以为下下来就能出 2KREADME 明写 H3-Regenerate-2K 未开源,本地只到 768p。而且它还说 Context-IR「对最终质量至关重要」——少了它,本地效果和官网不是一个东西
用 vLLM 部署issue #18「Code hangs during inference deployment with vLLM」开着 —— APIServer 起来之后就卡住
用 diffusers 跑issue #48:FL2VA 与主干 checkpoint 的 QKV 权重对不上(其余参数一致);issue #4:README 指的 diffusers PR 分支报 branch not found。两条都开着
音频开头有杂音issue #50 / #51 都开着:成片开头约 0.1 秒有爆破音,还有毫秒级的「幽灵人声」碎片
多主体对话issue #17:Ref2VA 多主体时声音会串 —— 画面上人分得清,嗓音会跑到另一个人身上
苹果芯片issue #56:官方 FL2VA ComfyUI INT8 路径在 MPS 上挂在 `aten::_int_mm` —— M 系列跑不了量化那条路

教程

官方文档、作者本人的视频,以及 ComfyUI 官方给的原生工作流示例。每条都验过还打得开。

项目自述

以下是仓库 README 的开头部分(原文引用,抓取 2026-08-17)。读全文 ↗

English |
  简体中文 |
  한국어 |
  日本語

MiniMax H3

Prompt Writing Skill

Install the H3 prompt writing skill — one of nine skills bundled with this repository:

bash
npx skills add https://github.com/MiniMax-AI/MiniMax-H3 --skill h3-prompt-writing

It ships with two prompt guides under skills/h3-prompt-writing/references/: base-en.txt for text/keyframe modes and ref-en.txt for full-reference (Ref2VA) mode.

Agent compatibility: h3-prompt-writing is a plain Markdown + reference-file skill with no external API calls, so it works in Claude Code, the Claude Agent SDK, Cursor, Windsurf, OpenAI-based agents/Codex, LangChain, or any other harness that can read a SKILL.md and local files. The bundled skills/h3-prompt-writing/agents/openai.yaml only adds optional UI metadata (display name, description, default prompt) for the ChatGPT/Codex skills UI, per OpenAI's skill spec — it does not limit the skill to OpenAI agents.

The remaining eight are style-specific video generation skills built for the MiniMax Hub's canvas workflow (hub_generate_video, hub_generate_image, canvas nodes, choice cards, etc.) and are not portable to generic agent harnesses:

    minimalist-product-ad-generator
    3d-animation-short-generator
    papercraft-stop-motion-explainer
    brand-promo-video-generator
    music-video-subtitle-generator
    co-op-game-intro-generator
    paper-collage-explainer-generator
    handdrawn-live-video-generator

Online API
Use MiniMax-H3 directly via API. 
- Global: platform.minimax.io | CN: platform.minimaxi.com

Online App
Use MiniMax-H3 directly via App.
- WebApp Global: hailuoai.video | CN: hailuoai.com
- Desktop Global: hub.minimax.io | CN: hub.minimaxi.com

System Overview
MiniMax H3 is a general-purpose, omni-modal generative system. It supports unified understanding of multimodal contexts composed of text, images, video, and audio, and can generate video with native stereo audio at resolutions up to 2K and durations of up to 15 seconds. Thanks to its task-generalization-oriented system design, H3 already possesses broad multimodal context understanding and generation capabilities at the pre-training stage, enabling outstanding performance in following complex multimodal instructions.

H3 supports the following input and output specifications:

| Category | Specification |
| Output duration | 4–15 seconds |
| Output aspect ratio | Supports a wide range of aspect ratios, including but not limited to 21:9, 16:9, 4:3, 1:1, 3:4, and 9:16 |
| Output resolution | Supports various resolution dimensions. The shorter side is set to 768 pixels by default. 2K \| generation can be achieved with H3-Regenerate-2K |
| Output frame rate | 24 FPS |
| Output audio | 32 kHz stereo |
| Supported dialogue languages | Stable support for 11 languages: Arabic, Chinese, English, French, German, Italian, Japanese, Korean, Portuguese, Russian, and Spanish. Additional languages are also supported to varying degrees |

Model Variants and Input Specifications

| Model Variant | Input Mode | Specifications |
| H3-Base-FL2VA | First-and-last-frame mode | Supports zero, one, or two input images. - No image input: Text-to-video mode - One image input: First-frame-to-video

……(后略,见原文)

判断

优势

  • 音频是原生生成的,不是画面出完再配 —— 32kHz 立体声与画面同一个模型出
  • Ref2VA 一次可接 9 张参考图、3 段参考视频、3 段参考音频,都带时长上限
  • 请求体里有 seed,官方自己给的示例脚本就叫 reproducible-*,可复现是明写的
  • 首帧 / 尾帧 / 首尾帧三种约束都在 FL2VA 一个变体里

局限

  • 开源的只是三段里的中间一段:Context-IR 和 2K 重生成都要调云端 API,本地只出 768p
  • 许可证按地区排除欧盟 / 英国 / 韩国 / 美国 —— 不是「注意合规」,是那些地方根本没被授权
  • 官方部署示例四卡起,单卡显存要求仓库没写
  • 稀疏注意力没开源,长序列的算力优势现在拿不到

不适用

面向欧美市场交付的商单 —— 许可证把那几个地区排除在授权范围之外,不是加个免责声明能绕过去的。

同管这些决定的其它项目

ComfyUI节点式工作流底座。图像 / 视频 / 音频 / 3D / 文本共用一个底座。…Wan2.2文生 / 图生 / 语音驱动 / 角色动画替换,480P–720P。五个变体。…HunyuanVideo腾讯的开源视频生成模型,文生视频与图生视频。720×1280、129 帧。…FramePack把 13B 视频模型压进 6GB 显存的桌面程序。图生视频,一分钟长度、30 帧。…LTX-VideoLightricks 的视频生成模型,主打快。文生 / 图生 / 视频续写,默认 1…IP-Adapter用图片当提示词,锁住风格或人物。仅 22M 参数。…InstantID一张脸照做身份保持生成,零样本、免调优。…ACE-Step音乐生成基座:文生音乐、歌词编辑、音色复刻、remix。…pyvideotrans识别 → 翻译 → 合成 → 回封装的整条流水线,做跨语言配音与字幕。…Real-ESRGAN通用图像 / 视频超分修复,支持 2× / 3× / 4×,含动漫专用与轻量模型。…Practical-RIFE视频插帧:在两帧之间算出中间帧,把 24 帧的片子补成 48、60 帧。作者是 RI…CodeFormer人脸修复:把糊掉、压坏、老照片里的脸修回来。图片与视频都能做。…MotionCtrl一个模型里分开控制镜头运动与物体运动。支持 SVD、VideoCrafter/LVD…LatentSync字节开源的口型同步:音频直接驱动潜空间扩散,不经过中间的运动表示。…IndexTTS2B 站开源的零样本语音合成:给一段参考音就能克隆音色,情感可以单独指定。中英双语。…kohya sd-scripts训练脚本集:覆盖 SD1.x/2.x、SDXL、SD3/3.5、FLUX.1;202…musubi-tuner视频模型的 LoRA 训练器。同一套代码训 Wan 2.1/2.2、HunyuanV…Ollama一条命令在本机跑开源大模型。写脚本、翻译这两段靠它才不出本机。…DiffSynth-Studio魔搭扩散模型工程框架,覆盖图像、视频、音乐推理与训练;近期加入 FLUX.3、MOS…MoneyPrinterTurbo给个主题或关键词,一键出高清短视频,含字幕与配音。…NarratoAI用大模型一键解说并剪辑现成视频。…火宝短剧基于 AI 的一站式短剧生成平台,从剧本到成片全自动化。…ToonflowAI 创作平台:无限画布、AI Agent、可视化工作流,支持图像、视频、分镜和短剧…infinite-canvas面向 AI 创作的无限画布工作台:生图、参考图编辑、视频生成、Agent 助手、画布…open-ai-canvas面向 AI 影视创作的无限画布:多模态生成、分镜编排、素材管理、Agent 工作流。…VOZEB PRO把统一创作 Agent、画布、短剧生产线、素材库和商业运营后台放进同一套 Next.…OpenMontage让 Agent 编排视频生产:通过声明式流水线组织素材、生成、字幕、音频与合成。…video-shotcraft为 Claude Code / Codex 提供产品宣传片镜头配方,以网页截图与文案…Generative Media Skills给 Agent(Claude Code / Cursor / Gemini CLI)…乘风视频剪辑 Skills用 Claude Code Skills 做的视频剪辑 Agent。中文侧最成型的一…OpenChatCut对话式视频剪辑器,本地优先。你说「第二条音轨第 8 秒加个故障转场」,它就去改那一刀…video-podcast-maker给编码 Agent 用的 skill:给一个主题,出一条 4K 带解说的讲解片。11…ComfyUI-ManagerComfyUI 的节点管理器:装节点、装模型、修依赖、查注册表。ComfyUI 生态…ComfyUI-WanVideoWrapper把 Wan 系列模型接进 ComfyUI 的节点包。社区里跑 Wan 的事实标准封装…ComfyUI 官方工作流模板ComfyUI 内置的那批官方工作流模板与子图蓝图的真身仓库。…waoowaoo把一部小说灌进去,自动拆角色、拆场景、出分镜,再合成整集短剧。中英双界面。…JellyfishAI 短剧的端到端工作台:从剧本进,到分镜、角色一致性管理、出片、导出。…魔因漫创桌面端 AI 影视工具(Electron):剧本 → 角色 → 场景 → 导演 → …BigBanana AI Director一站式 AI 短剧 / 漫剧工作台,四阶段:剧本 → 视觉资产 → 分镜制作 → 导…ClipForge带货短视频专用的一站式工具:上传商品图,自动提炼卖点、写种草脚本、配音配字幕加背景乐…短视频工厂跨平台桌面应用:给提示词文本加分镜素材,自动剪出产品营销或泛内容短视频。集成文案生成…AI YouTube Shorts Generator把一条长视频切成一批排好序的竖屏短片:用语言模型找高光片段、用 Whisper 转写…Open AI UGC生成 UGC 风格的口播广告:用多个视频模型出真人感的 AI 演员念你的脚本。定位是…ViGenAiR把一条已有的视频广告用生成式 AI 重新剪成适配不同版位与时长的多条。…LiveTalking实时交互流式数字人引擎,音视频同步对话。支持 ernerf、musetalk、wav…Seedance 2.0 Prompt Skills给 Agent 装的 Seedance 2.0 提示词技能:讲输入约束、@ 引用语法…Drama Skills面向编剧与漫剧工作室的短剧创作流水线:十个技能把一个点子或一部长篇材料,一路做成分集…Seedance2 Storyboard Generator开源剧情剧本技能:把故事拆成分镜,并整合成 Seedance 2.0 认的结构化提示…AI Shortfilm Prompts一个 Claude Code 技能:把任意一个想法变成电影语言的、模型直接能用的视频…Awesome Seedance 2 Prompts整理好的 Seedance 2.0 视频提示词库,README 自述逾六千条,覆盖电…歸藏的提示词库中文 AI 圈里流传最广的个人提示词仓库之一,存放作者为各家模型撰写的提示词。…AI Visual Prompt Cookbook171 套结构化提示词风格、342 张预览;JSON 模板支持 v2.1 / v2.…PromptLensAI 视频提示词分析工具:丢进一条别人的视频,反推出它的提示词与创作脚本,并做画面分…Prompt Engineering Guide提示词工程的系统性指南:教程、论文、课程笔记与可运行的示例。不针对视频,讲的是提示词…蓝书 AI 视频工具包AI 视频提示词、技能与方法论工具包。2026-10-10 README 自述:60…

github README + GitHub API + HuggingFace LICENSE 原文 + DeepWiki 架构页 · 核验 2026-10-19 | 判断栏可报错。