AI 世界模型 · 我想做什么4 个真实应用 —— 先看成品，再看它对应的公开项目、Skill、课程与文档

数据截至 2026-10-19
关联能力 3 项
公开资源关联 12 条

Application Atlas

从一个真实产出，找到能走的公开路线

项目、Skill、课程、文档从关联能力自动汇总，按「项目 → Skill → 文档 → 课程」排，同类官方来源优先，不按 Star 做推荐结论。不导流收费平台；公开访问 ≠ 自动允许商用。

应用 / Simulate a world to train robots

给机器人造一个练手的世界

真机采数据慢又贵。世界模型的第一个正经用途是先在模型里把动作演一遍：喂进一串轨迹，看它会发生什么，再决定要不要在真机上做。

行业里也叫：世界模拟 / 仿真 / physical AI

输入 → 输出

一段起始观察一串候选动作

↓

这串动作会导致的未来状态（画面，有时还有动作指令）

需要的能力

喂进动作，让世界接着往下演 →

公开路线

项目来自喂进动作，让世界接着往下演

Matrix-Game 3.0（昆仑万维） ↗

中文侧最能核的一支。

见仓库昆仑万维官方 · Matrix-Game 3.0 模型卡

项目来自喂进动作，让世界接着往下演

NVIDIA Cosmos3（唯一列出可喂本体的） ↗

⚠️ 许可是英伟达自家条款，不是 Apache/MIT，商用前自己读 ⚠️ 许可这一栏我们一度写错过（2026-08-14 写成「NVIDIA Open Model License」，那是 GR00T 的）。Cosmos3 模型卡的 `License` 一节写的是 OpenMDW1.1，`Use Case` 写的是「Physical AI: Encompassing robotics, autonomous vehicles (AV), and smart space environments」。同一家的不同产品线许可可以不一样，不能顺手照抄。

OpenMDW1.1NVIDIA 官方 · Cosmos3-Nano 模型卡

文档

Meta V-JEPA 2（先理解再想象后果） ↗

⚠️ 它不生成可交互世界，是表征与理解那一层 —— 别指望拿它出画面

Meta 官方博客 · V-JEPA 2 world model

应用 / Generate a world you can walk into

生成一个能走进去的世界

一句话生成一个场景，然后你用键鼠走进去，它顺着你的操作往下画。和「生成一段视频」的区别是：视频拍完就定了，这个可以一直往下走。

行业里也叫：可交互世界 / world play / 实时世界

输入 → 输出

一句描述或一张图持续的操作

↓

跟着你走的世界

需要的能力

边操作边出画面 →让世界记住刚才发生过什么 →

公开路线

项目来自边操作边出画面

混元 HunyuanWorld-1.5（WorldPlay） ↗

⚠️ 依据在 1.5 那一支，不是当前的 2.0。

见仓库腾讯混元官方 · HunyuanWorld 仓库（更新日志）

项目2 项能力

Matrix-Game 3.0（昆仑万维，权重公开） ↗

边操作边出画面：标题「**Real-Time and Streaming** Interactive World Model」；Overview「designed for **720p real-time** long-form video generation」
让世界记住刚才发生过什么：「a **memory-augmented** Diffusion Transformer (DiT) with an **error buffer** that learns action-conditioned generation with **memory-enhanced long-horizon consistency**」

见仓库昆仑万维官方 · Matrix-Game 3.0 模型卡

项目来自让世界记住刚才发生过什么

Microsoft WHAM ↗

⚠️ 三家里最含糊的一种说法：既没给时长也没给机制。

见仓库微软官方 · WHAM 模型卡

文档

Google Genie 3（闭源，但给了硬指标） ↗

⚠️ 没有权重也没有公开 API —— 能读到指标，用不上

Google DeepMind 官方博客 · Genie 3

应用 / Generate long-tail driving scenes

给自动驾驶造长尾场景

真实路测撞不到的情况，用世界模型造出来。这是厂商自己在官方页里点名的用途之一，也是这一卷少数已经有产业买单的方向。

行业里也叫：自动驾驶 / AV / 长尾场景 / 仿真数据

输入 → 输出

一段真实路测视频或一句场景描述（可选）一串相机运动或车辆动作

↓

同一场景的变体，或顺着动作演下去的画面

需要的能力

喂进动作，让世界接着往下演 →

公开路线

项目来自喂进动作，让世界接着往下演

Matrix-Game 3.0（昆仑万维） ↗

中文侧最能核的一支。

见仓库昆仑万维官方 · Matrix-Game 3.0 模型卡

项目来自喂进动作，让世界接着往下演

NVIDIA Cosmos3 ↗

⚠️ 同族还有 `Cosmos-Transfer1-7B-Sample-AV` 与 `Cosmos-Transfer-LidarGen` 是专做这一路的档。

OpenMDW1.1NVIDIA 官方 · Cosmos3-Nano 模型卡

应用 / Train a playable world from gameplay

用游戏录像训一个能玩的世界

喂进一款游戏的录像（画面 + 手柄操作），训出一个能接着玩下去的模型。它不是在放录像，是在按你的操作生成没被录过的画面。

行业里也叫：游戏 / gameplay / 可玩世界 / Muse

输入 → 输出

游戏录像（画面与操作成对）

↓

一个能按操作往下演的世界

需要的能力

让世界记住刚才发生过什么 →边操作边出画面 →

公开路线

项目来自边操作边出画面

混元 HunyuanWorld-1.5（WorldPlay） ↗

⚠️ 依据在 1.5 那一支，不是当前的 2.0。

见仓库腾讯混元官方 · HunyuanWorld 仓库（更新日志）

项目2 项能力

Matrix-Game 3.0（昆仑万维，中文侧） ↗

让世界记住刚才发生过什么：「a **memory-augmented** Diffusion Transformer (DiT) with an **error buffer** that learns action-conditioned generation with **memory-enhanced long-horizon consistency**」
边操作边出画面：标题「**Real-Time and Streaming** Interactive World Model」；Overview「designed for **720p real-time** long-form video generation」

见仓库昆仑万维官方 · Matrix-Game 3.0 模型卡

项目来自让世界记住刚才发生过什么

Microsoft WHAM（Muse 背后的模型） ↗

这一卷唯一一支论文进 Nature 的（s41586-025-08600-3），还公开了样本数据集 `microsoft/bleeding-edge-gameplay-sample`。⚠️ 它只训过这一款游戏。

见仓库微软官方 · WHAM 模型卡

这里的「应用」是用户要交付的东西，不是能力名的同义改写；应用层不下效果或适用性结论，限制与核验日期请进入关联 Skill 查看。口径 →