Thinker-IL-LAB
Thinker 机器人模仿学习工具链
📖 在线文档站点：https://lqx-code-sh.github.io/Thinker-IL-LAB/
项目简介
本项目基于 NVIDIA Isaac Sim 与 LeRobot 框架开发，为天工行者无疆（Walker TienKung Pro）、Walker S2 EDU 探索者、天工行者 Dex（Walker TienKung Dex）与 Walker C1 EDU 共创者（Walker C1 EDU）机器人提供完整的模仿学习工具链，涵盖以下核心能力：
| 能力 | 说明 | 状态 |
|---|
| 🌐 ROS 仿真环境 | 高逼真度 Isaac Sim 仿真，支持遥操作与数据采集 | ✅ 已完成 |
| 🎮 遥控操作 | 键盘/空间鼠标等设备遥操作，仿真与真机统一接口 | 🚧 开发中 |
| 📦 数据采集与转换 | HDF5 / LeRobot 格式数据采集，格式转换与清洗 | ✅ 已完成 |
| 🧠 模型训练 | 基于 LeRobot 的模仿学习策略训练 | ✅ 已完成 |
| 🤖 真机部署 | 模型推理与真机控制部署 | ✅ 已完成 |
| 🤖 支持机型 | 天工行者无疆（Walker TienKung Pro） / Walker S2 EDU 探索者 | ✅ 已发布 |
| 🤖 扩展机型 | 天工行者 Dex（Walker TienKung Dex，Inspire / BrainCo 手型） / Walker C1 EDU 共创者（Walker C1 EDU） | ✅ 已发布（仿真 + 真机，2026-11） |
| 🎮 LabView | 一站式可视化交互界面 | 🚧 敬请期待 |
效果展示
仿真平台预览
| 天工行者 Dex | Walker C1 EDU 共创者 |
|---|
| |
测试案例
| Walker S2 EDU 探索者 仿真 | Walker S2 EDU 探索者 真机 |
|---|
| |
| Walker C1 EDU 共创者 仿真 | Walker C1 EDU 共创者 真机 |
|---|
| |
整体架构
仓库包含 ubt_sim（仿真平台）与 ubt_IL（模仿学习平台）两个子项目，关系与数据流：
┌────────────────────────────────────────────────────────────────────────────────────────┐
│ ubt_IL 模仿学习平台 │
│ 数据转换 ──► 模型训练 ──► 离线评估 ─► 推理部署 │
└───────────▲───────────────┬───────────────────────────▲───────────────┬────────────────┘
│ │④仿真部署 │ │⑤真机部署
│①数据采集 ▼ （ROS桥接） │②真机采集 │（ROS桥接）
┌────────┴────────────────────────┐ ┌─────────┴───────────────▼───────────┐
│ ubt_sim 仿真平台 │ │ 真机（四款机型） │
│ （Isaac Sim 容器） │ │ ROS_DOMAIN_ID=0 直连网段 │
└─────────────────────────────────┘ └─────────────────────────────────────┘
真机侧覆盖：天工行者无疆（Walker TienKung Pro）、Walker S2 EDU 探索者、天工行者 Dex、Walker C1 EDU 共创者。
代码获取
克隆仓库后，需先拉取 LFS 大文件（USD 模型、贴图等）并初始化子模块（lerobot）。
# （可选）配置代理：访问 GitHub 较慢时设置，端口按本地代理调整
git config --global http.proxy http://127.0.0.1:7897
git config --global https.proxy http://127.0.0.1:7897
export GIT_LFS_PROXY="http://127.0.0.1:7897" # LFS 走代理
# 1. 克隆仓库（先跳过 LFS 和子模块）
GIT_LFS_SKIP_SMUDGE=1 git clone https://github.com/LQX-Code-SH/Thinker-IL-LAB.git
# 2. 拉取 LFS 大文件
git lfs pull
# 3. 初始化并拉取子模块（lerobot）
git submodule update --init
环境要求
| 依赖 | 要求 | 说明 |
|---|
| 操作系统 | Linux（Ubuntu 22.04 / 24.04 推荐） | 仿真与训练默认容器运行；Dex 可在机器人本体（Thor）上免容器部署 |
| GPU | NVIDIA GPU（3090+） | Isaac Sim 渲染与模型训练/推理 |
| Docker | 已安装 NVIDIA Container Toolkit | 容器内使用 GPU |
| Git LFS | 已安装 | USD 模型、贴图等大文件管理 |
| 磁盘空间 | 充足（建议 100GB+ 可用） | LFS 大文件、数据集、checkpoint 占用较大 |
快速开始
本仓库分为机器人仿真平台与模仿学习平台两个子项目，涵盖机器人操作模仿学习全流程，具体使用流程请查看下列文档教程：
更多文档
致谢
本项目站在以下开源项目的肩膀上，谨致谢忱：
感谢以上社区与所有贡献者的卓越工作。如本项目对您有帮助，欢迎 Star ⭐ 支持。
License
本仓库采用分层许可：
