hello-robotics 基于 G2 与 Isaac 构建一站式机器人仿真实践教程平台,覆盖环境搭建、视觉感知、建图定位、导航抓取与大模型决策全流程,支持前沿多模态及具身智能算法落地验证。
当前机器人仿真与具身智能领域缺乏从环境搭建、感知建图、导航操作到大模型决策的一体化、可复现、循序渐进的实践教程,现有仿真平台资料零散、门槛高、难以形成完整工程化体系。hello-robotics 基于 Isaac 与 G2 构建全流程仿真实践平台,既能补齐系统化教学的空白,降低机器人开发入门成本,又可为 VLM、VLA 等前沿具身智能算法提供统一验证底座,兼具教学价值与科研实践价值,对推动仿真机器人技术普及与算法落地具有重要意义。
底盘机械臂基础控制 给大家比个心,希望大家能够喜欢我们的教程 |
|
g2双雷达模块搭建 原有g2没有激光雷达发布,因此在g2上加载了两个激光雷达 |
视觉目标检测 g2采用yolo26对环境中的物体进行目标检测 |
纯手搓双雷达3d建图算法 教程编写简单易懂的3d建图算法帮助大家入门3d建图 |
纯手搓双雷达2d建图算法 教程采用3d建图的双3d激光雷达点云编写2d建图算法 |
| 章节 | 关键内容 | 状态 |
|---|---|---|
| 第一部分 构建虚拟世界:IsaacSim快速入门 | ||
| 第一章 Isaacsim环境配置与安装 | ✅ | |
| 第二章 Isaacsim基本使用 | ✅ | |
| 第三章 Isaacsim综合实践 | 🚧 | |
| 第二部分 掌控机械躯体:机器人运动控制实战 | ||
| 第四章 移动底盘运动学与控制 | 底盘拆解与线速度角速度控制 | ✅ |
| 第五章 机械臂运动学与关节控制 | 机械臂关节控制、正逆运动学(FK/IK)求解 | ✅ |
| 第六章 运动控制综合实践:移动与抓取 | 结合底盘与机械臂,完成简单轨迹规划与定点抓取演练 | 🚧 |
| 第三部分 接入多维感官:视觉感知与环境理解 | ||
| 第七章 视觉感知算法 | CV基础,YOLO检测分割算法讲解,实现仿真环境下的物体识别与语义分割 | ✅ |
| 第八章 雷达点云建图 | 点云与建图 | ✅ |
| 第九章 感知控制综合实践:视觉感知控制 | 结合视觉感知与机械臂控制,完成基于视觉引导的动态抓取任务 | 🚧 |
| 第四部分 穿梭复杂场景:SLAM建图与自主导航 | ||
| 第十章 移动底盘规划基础与Nav2框架 | 全局路径规划与局部避障算法部署 | ✅ |
| 第十一章 机械臂规划基础与maveit2框架 | 机械臂规划与控制 | 🚧 |
| 第十二章 导航综合实践:全场景自主巡航 | 结合建图与导航算法,实现复杂动态环境下的多点巡航与避障 | 🚧 |
| 第五部分 注入智能灵魂:任务规划与具身决策 | ||
| 第十三章 LLM接入与Prompt工程 | 调用大模型 API,设计适用于机器人任务的系统提示词与交互逻辑 | 🚧 |
| 第十四章 场景描述与常识推理 | 通过视觉感知与地图分析,通过VLM模型进行空间理解 | 🚧 |
| 第十五章 视觉语言动作模型部署 | 通过VLA模型实现从视觉输入到机械臂动作的直接输出 | 🚧 |
| 第十六章 决策闭环综合实践:听指令做任务 | 打通感知、大模型决策与底层控制,实现感知理解并执行的完整闭环 | 🚧 |
| 第六部分 走向前沿落地:前沿具身算法部署实践 | ||
| 第十七章 前沿算法部署1 | 🚧 | |
| 第十八章 前沿算法部署2 | 🚧 |
| 姓名 | 职责 | 简介 |
|---|---|---|
| 李昀迪 | 项目负责人 | 北京科技大学 |
| 陈可为 | 联合项目负责人 | 中国科学院大学 |
| 张天一 | 联合项目负责人 | 北京工业大学 |
- 如果你发现了一些问题,可以提Issue进行反馈,如果提完没有人回复你可以联系保姆团队的同学进行反馈跟进~
- 如果你想参与贡献本项目,可以提Pull Request,如果提完没有人回复你可以联系保姆团队的同学进行反馈跟进~
- 如果你对 Datawhale 很感兴趣并想要发起一个新的项目,请按照Datawhale开源项目指南进行操作即可~
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。
注:默认使用CC 4.0协议,也可根据自身项目情况选用其他协议





