Skip to content

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

160 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Hello-Robotics

🎯 项目介绍

  hello-robotics 基于 G2 与 Isaac 构建一站式机器人仿真实践教程平台,覆盖环境搭建、视觉感知、建图定位、导航抓取与大模型决策全流程,支持前沿多模态及具身智能算法落地验证。

  当前机器人仿真与具身智能领域缺乏从环境搭建、感知建图、导航操作到大模型决策的一体化、可复现、循序渐进的实践教程,现有仿真平台资料零散、门槛高、难以形成完整工程化体系。hello-robotics 基于 Isaac 与 G2 构建全流程仿真实践平台,既能补齐系统化教学的空白,降低机器人开发入门成本,又可为 VLM、VLA 等前沿具身智能算法提供统一验证底座,兼具教学价值与科研实践价值,对推动仿真机器人技术普及与算法落地具有重要意义。

🔍 效果展示


底盘机械臂基础控制
给大家比个心,希望大家能够喜欢我们的教程

g2双雷达模块搭建
原有g2没有激光雷达发布,因此在g2上加载了两个激光雷达

视觉目标检测
g2采用yolo26对环境中的物体进行目标检测

纯手搓双雷达3d建图算法
教程编写简单易懂的3d建图算法帮助大家入门3d建图

纯手搓双雷达2d建图算法
教程采用3d建图的双3d激光雷达点云编写2d建图算法

📖 内容导航

章节 关键内容 状态
第一部分 构建虚拟世界:IsaacSim快速入门
第一章 Isaacsim环境配置与安装
第二章 Isaacsim基本使用
第三章 Isaacsim综合实践 🚧
第二部分 掌控机械躯体:机器人运动控制实战
第四章 移动底盘运动学与控制 底盘拆解与线速度角速度控制
第五章 机械臂运动学与关节控制 机械臂关节控制、正逆运动学(FK/IK)求解
第六章 运动控制综合实践:移动与抓取 结合底盘与机械臂,完成简单轨迹规划与定点抓取演练 🚧
第三部分 接入多维感官:视觉感知与环境理解
第七章 视觉感知算法 CV基础,YOLO检测分割算法讲解,实现仿真环境下的物体识别与语义分割
第八章 雷达点云建图 点云与建图
第九章 感知控制综合实践:视觉感知控制 结合视觉感知与机械臂控制,完成基于视觉引导的动态抓取任务 🚧
第四部分 穿梭复杂场景:SLAM建图与自主导航
第十章 移动底盘规划基础与Nav2框架 全局路径规划与局部避障算法部署
第十一章 机械臂规划基础与maveit2框架 机械臂规划与控制 🚧
第十二章 导航综合实践:全场景自主巡航 结合建图与导航算法,实现复杂动态环境下的多点巡航与避障 🚧
第五部分 注入智能灵魂:任务规划与具身决策
第十三章 LLM接入与Prompt工程 调用大模型 API,设计适用于机器人任务的系统提示词与交互逻辑 🚧
第十四章 场景描述与常识推理 通过视觉感知与地图分析,通过VLM模型进行空间理解 🚧
第十五章 视觉语言动作模型部署 通过VLA模型实现从视觉输入到机械臂动作的直接输出 🚧
第十六章 决策闭环综合实践:听指令做任务 打通感知、大模型决策与底层控制,实现感知理解并执行的完整闭环 🚧
第六部分 走向前沿落地:前沿具身算法部署实践
第十七章 前沿算法部署1 🚧
第十八章 前沿算法部署2 🚧

贡献者名单

姓名 职责 简介
李昀迪 项目负责人 北京科技大学
陈可为 联合项目负责人 中国科学院大学
张天一 联合项目负责人 北京工业大学

参与贡献

  • 如果你发现了一些问题,可以提Issue进行反馈,如果提完没有人回复你可以联系保姆团队的同学进行反馈跟进~
  • 如果你想参与贡献本项目,可以提Pull Request,如果提完没有人回复你可以联系保姆团队的同学进行反馈跟进~
  • 如果你对 Datawhale 很感兴趣并想要发起一个新的项目,请按照Datawhale开源项目指南进行操作即可~

关注我们

扫描下方二维码关注公众号:Datawhale

LICENSE

知识共享许可协议
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。 注:默认使用CC 4.0协议,也可根据自身项目情况选用其他协议

About

hello-robotics 将基于 G2 与 Isaac 打造一套全流程机器人仿真实践教程平台,覆盖搭建、感知、建图定位导航、抓取操作及大模型决策,同时可以用于前沿算法的实践验证

Resources

Stars

Watchers

Forks

Releases

Packages

Contributors

Languages