喂进动作,让世界接着往下演
Drive a world with actions · 各家还叫它:action trajectory / action-conditioned / 动作条件 / keyboard input
一段起始画面或一句描述+一串动作(键鼠操作 / 相机位姿 / 机器人轨迹)→顺着这串动作演下去的世界状态
0
家能做这件事
厂商官方文档写明支持
2
处权重可自部署
自己的 GPU 上跑,不受平台限制
0
个能跑起来的 workflow
其中官方 0 个
谁能做
还没有模型有明确的官方依据
自己部署权重公开的,拿去自己 GPU 上跑
NVIDIA Cosmos3`Input Type(s)` 明列 **Action Trajectory**,json 1D list,并给出各本体维度(相机 9D、自驾 9D、第一人称 57D、单臂 Franka 10D、双臂 20D、Agibot 29D、UR 10D、Google robot 10D、WidowX 10D、UMI 9D),长度 16–400 帧 · NVIDIA 官方 · Cosmos3-Nano 模型卡
Matrix-Game 3.0(昆仑万维)「learns **action-conditioned** generation」;数据引擎产出「**Video-Pose-Action-Prompt** quadruplets」 · 昆仑万维官方 · Matrix-Game 3.0 模型卡