AI 具身智能 · 我想做什么4 个真实应用 —— 先看成品，再看它对应的公开项目、Skill、课程与文档

数据截至 2026-10-19
关联能力 2 项
公开资源关联 14 条

Application Atlas

从一个真实产出，找到能走的公开路线

项目、Skill、课程、文档从关联能力自动汇总，按「项目 → Skill → 文档 → 课程」排，同类官方来源优先，不按 Star 做推荐结论。不导流收费平台；公开访问 ≠ 自动允许商用。

应用 / Language-conditioned pick and place

让机械臂按一句话抓取摆放

给一句「把红色积木放进碗里」，机械臂自己找到、抓起、放好 —— 不写脚本、不示教轨迹。这是这一卷所有模型的公共起点。

行业里也叫：抓取 / pick and place / 语言条件抓取

输入 → 输出

一台带相机的机械臂（或它的仿真环境）一句自然语言指令

↓

一段能完成任务的动作

需要的能力

不训练，先看基座能不能直接用 →把自己采的数据变成能训练的格式 →

公开路线

项目来自把自己采的数据变成能训练的格式

LeRobot（从采数据到真机的一条链） ↗

先装它再挑模型；π₀ 与 SmolVLA 的权重就托管在它名下

Apache-2.0Hugging Face 官方 · LeRobot 仓库

项目来自不训练，先看基座能不能直接用

NVIDIA Isaac GR00T N1.7 ↗

⚠️ 只有预训练标签那几种本体能零样本跑。 换成后训练标签（`LIBERO_PANDA`、`UNITREE_G1_SONIC`）拿基座跑会直接报错并列出支持的标签。

NVIDIA Open Model LicenseNVIDIA/Isaac-GR00T 官方文档 · Policy API（本体标签清单）

项目来自不训练，先看基座能不能直接用

openpi（π₀ / π₀.₅） ↗

⚠️ 权重在 `gs://openpi-assets` 不在 HF，国内取要先解决出网。

Apache-2.0Physical-Intelligence/openpi 官方仓库

项目来自把自己采的数据变成能训练的格式

RLDS（OpenVLA 那一支） ↗

⚠️ 和 LeRobot 不通用。 想在两边都用同一份数据，得自己写转换。

MITopenvla/openvla 官方仓库与模型卡

项目

ManiSkill（没有真机时先在仿真里跑） ↗

⚠️ 仿真跑通不等于真机能用 —— 这一卷厂商公布的成绩绝大多数是仿真成绩

Apache-2.0ManiSkill 官方仓库（仿真环境）

应用 / Look, ground, and plan

让模型看懂画面并规划下一步

不直接驱动关节，先解决「东西在哪、该往哪伸、这一步做完没有」。做具身应用时，这一层往往先落地 —— 它只要一个相机和一次 API 调用。

行业里也叫：具身推理 / 指物 / grounding / 空间推理

输入 → 输出

一张图或一段视频一句问题或任务描述

↓

点位、边界框、轨迹或一份分步计划

需要的能力

这个方向还没定 Skill —— 是我们还没拆，不是这件事不需要能力。

公开路线

项目

RynnBrain 1.1（开源、能出坐标） ↗

三档 2B / 9B / 122B-A10B，基座是 Qwen3.5 —— 想自己部署这一层，目前它是最现成的

Apache-2.0阿里达摩院官方 · RynnBrain 1.1 模型卡

文档

Gemini Robotics ER（这一卷唯一有 API 的） ↗

⚠️ 三个端点全部还带 Preview；`Video progress` 与 `Streaming` 只在 ER 2 上有

Google 官方文档 · Gemini Robotics ER

应用 / Start in simulation

没有真机，先在仿真里把策略跑通

这一卷绝大多数官方检查点是跟着仿真基准发的（LIBERO、RoboCasa、SimplerEnv、RoboTwin）。没有仿真环境，你连厂商给的档都跑不起来 —— 所以入门的第一步往往不是买机器人。

行业里也叫：仿真 / sim / LIBERO / RoboCasa

输入 → 输出

一台带 GPU 的机器一个仿真环境

↓

一段能在仿真里完成任务的策略

需要的能力

不训练，先看基座能不能直接用 →把自己采的数据变成能训练的格式 →

公开路线

项目来自不训练，先看基座能不能直接用

GR00T 的评测与本体标签（哪些能零样本跑） ↗

先查这张表再下权重 —— 你要跑的那个仿真基准若在 Posttrain 那一栏，基座模型直接报错。

NVIDIA Open Model LicenseNVIDIA/Isaac-GR00T 官方文档 · Policy API（本体标签清单）

项目来自把自己采的数据变成能训练的格式

LeRobot 数据集格式（事实上的公共格式） ↗

π₀、SmolVLA、GR00T 都走这条；它已经是这一卷的默认格式。

Apache-2.0Hugging Face 官方 · LeRobot 仓库

项目来自不训练，先看基座能不能直接用

openpi（π₀ / π₀.₅） ↗

⚠️ 权重在 `gs://openpi-assets` 不在 HF，国内取要先解决出网。

Apache-2.0Physical-Intelligence/openpi 官方仓库

项目来自把自己采的数据变成能训练的格式

RLDS（OpenVLA 那一支） ↗

⚠️ 和 LeRobot 不通用。 想在两边都用同一份数据，得自己写转换。

MITopenvla/openvla 官方仓库与模型卡

项目

ManiSkill（GPU 并行的操作仿真） ↗

⚠️ 仿真跑通不等于真机能用 —— 这一卷厂商公布的成绩绝大多数是仿真成绩，我们把它们放进「效果」而不是能力表，就是这个原因。

Apache-2.0ManiSkill 官方仓库（仿真环境）

应用 / Orchestrate your own robot APIs

让模型指挥你自己的机器人

不换掉你现有的控制代码。模型只负责看画面、定位、拆步骤，具体动作还是调你自己的接口 —— 这是目前唯一能靠一次 API 调用就落地的具身用法。

行业里也叫：任务编排 / long-horizon / 接机器人 API

输入 → 输出

相机画面一句任务描述你自己的机器人控制接口

↓

一串按顺序调用你接口的计划

需要的能力

这个方向还没定 Skill —— 是我们还没拆，不是这件事不需要能力。

公开路线

文档

Gemini Robotics ER · Task orchestration ↗

⚠️ 它编排，不驱动。 官方措辞就是「接你自己的机器人 API」—— 执行那一层要你自己有。另外三个端点全部还带 Preview。

Google 官方文档 · Gemini Robotics ER

文档

RynnBrain 1.1（想自己部署这一层时的开源选项） ↗

⚠️ 它做的是「看懂并定位」，不是「编排一串调用」 —— 我们把它的「任务编排」那一格记的是 ⬜，模型卡里只有 `planning` 这个词，没有编排机制。

阿里达摩院官方 · RynnBrain 1.1 模型卡

这里的「应用」是用户要交付的东西，不是能力名的同义改写；应用层不下效果或适用性结论，限制与核验日期请进入关联 Skill 查看。口径 →