EMBODIED AI
具身智能
三级递进 · 15 门课 · 167 个实验
具身智能方向以 ROS2 为主线、Jetson Orin Nano 为算力底座,覆盖感知、决策、控制全链路,采用先仿真后实机的教学路径,降低设备损耗与开课门槛。
申请试用
方向概述
课程体系按「入门—进阶—综合」三级递进,共 8 大模块、15 门课程、167 个实验,每一门课程都配有可逐条核对的实验清单与课程—设备支撑关系;仿真环节在平台容器环境中完成,实机环节在实训室排课使用。
课程体系
按「基础认知 → 专项技能 → 综合创新」三级递进组织,八大技术模块与硬件设备建立对应支撑关系。
入门层
设备认知与基础操作
进阶层
感知 / 控制 / 导航 / 交互专项训练
综合层
大模型驱动 · 面向高年级与科研团队
ROS2 基础课程
20从 ROS2 与 ROS1 的差异讲起,覆盖安装方法、命令行操作、开发环境与工作空间、功能包管理,逐一展开节点、话题、服务、动作四类通信与通信接口、参数、分布式通信与 DDS,再打通 Launch 多节点启动脚本、TF2 坐标变换、URDF 建模,最后落到 Gazebo 三维物理仿真与 Rviz / RQT 工具使用。
底盘运动控制课程
4底盘更换、麦克纳姆轮、阿克曼底盘、履带底盘——四种底盘形态的结构认知与运动控制差异。
运动控制课程
3IMU 与线速度、角速度校准,IMU 与里程计数据发布,机器人速度闭环控制。
深度相机基础教程
5深度相机配置、构建工作空间、安装深度相机 ROS SDK、深度相机使用、数据类型与点云。
激光雷达课程
5激光雷达介绍、雷达工作原理及测距方法,以及雷达避障、雷达跟随、雷达警卫三类典型应用。
建图与导航课程
10URDF 模型入门与说明、SLAM 地图构建原理、slam_toolbox 建图算法、RTAB-VSLAM 三维建图与导航、自主导航、AMCL 自适应蒙特卡罗定位、局部路径规划、雷达单点与多点导航避障。
ROS 与 OpenCV 教程
4颜色阈值调节、颜色识别、二维码创建及识别、自主巡线。
视觉机械臂课程
9视觉机械臂本体认知、智能总线舵机与注意事项、上位机介绍、动作调用与动作编辑、串联动作文件、动作文件导入导出、机械臂在三维空间中的位置与姿态、机械臂偏差调节。
机械臂视觉应用课程
6手部跟随、色块识别分拣、色块跟踪、巡线清障、垃圾分类、定点导航搬运。
MoveIt 与 Gazebo 仿真课程
18虚拟机配置与文件导入、URDF 模型入门与说明;MoveIt2 的运动学设计、配置、控制、随机移动、笛卡尔路径、碰撞检测、场景设计、轨迹规划,以及与仿真机械臂联动;Gazebo 入门、xacro 模型可视化、硬件仿真、建图仿真、导航仿真,直至 Gazebo 与 MoveIt2 仿真联动。
语音控制课程
18WonderEcho Pro 与环形六路麦克风阵列介绍、固件烧录、串口测试、虚拟机安装配置、阵列配置、唤醒词设置、声源定位与语音识别、声卡与扬声器使用;再以语音驱动小车移动、机械臂、颜色识别、颜色追踪、色块分拣、垃圾分拣、多点导航与导航搬运。
ROS + 机器学习课程
24机器学习与常用库介绍、GPU 与 TensorRT 加速、YOLOv5 模型与运行流程、数据格式转换与模型训练、路标卡片检测、交通标志与垃圾卡片模型训练、实物训练模型;MediaPipe 入门之后的背景分割、3D 物体检测、人脸与三维人脸检测、手与肢体关键点检测、指尖轨迹识别、肢体体感控制、人体跟踪、肢体姿态融合 RGB 控制、人体姿态检测。
无人驾驶课程
6无人驾驶之车道保持、路标检测、红绿灯识别、转向决策、自主泊车与综合应用。
移动机器人综合实践
5防跌落、过独木桥、物体追踪、追踪夹取、物体分类等面向真实场景的整机综合任务。
AI 大语言模型课程
30大语言模型概述、部署、调用,以及语义理解与情绪感知;语音大模型的设备、唤醒、识别、合成与交互;视觉大模型的调用、目标识别、场景理解与文字识别;多模态大模型概述、智能体行为编排、API Key 获取与配置、多模态语音控制、自主巡线、颜色追踪;最后落到具身智能应用的视觉追踪、智能管家、智能搬运、路网规划,以及大模型综合应用与离线大模型应用。
全部配套实验指导书、程序源码与教学视频;仿真在平台容器中完成,实机在实训室排课使用。
典型实验
从通信链路、仿真遥控,到建图导航、视觉抓取与多模态交互,串成一条从仿真走向实机的完整路径。
- 01ROS2 通信与 TF2 坐标变换
搭起节点、话题、服务、动作四类通信链路,并用 TF2 管理多坐标系变换、在 Rviz 中验证。
- 02Gazebo 差速小车仿真遥控
在三维物理仿真平台中搭建差速小车模型,完成键盘遥控与传感器数据接入。
- 03slam_toolbox 建图与 AMCL 定位
构建栅格地图并保存,用自适应蒙特卡罗定位在地图中确认机器人位姿。
- 04雷达单点、多点导航与避障
指定单点或多点目标,完成全局与局部路径规划,并在动态障碍下避障。
- 05RTAB-VSLAM 三维建图与导航
基于深度相机完成三维视觉建图,并在三维地图上执行导航。
- 06视觉引导抓取与色块分拣
手眼标定后由视觉引导机械臂完成抓取、偏差调节与色块分拣。
- 07语音控制导航搬运
以语音指令驱动移动平台完成多点导航、机械臂抓取与搬运的完整任务链。
- 08多模态大模型驱动的交互
部署大语言模型,打通语音交互、视觉问答、场景理解到机器人控制的闭环。
仿真在平台容器中完成、实机在实训室排课使用:从 Jetson Orin Nano 算力底座与 ROS2 中间件, 到仿真、建图导航与视觉推理工具链,再到语音与多模态大模型。
- Jetson Orin Nano
- ROS2 / Nav2 / MoveIt2
- Gazebo / rviz2
- slam_toolbox / RTAB-VSLAM
- OpenCV / TensorRT / YOLOv5
- MediaPipe
- 六路麦克风阵列
- 语音 / 视觉 / 多模态大模型
覆盖算法、运动控制、多模态感知与系统集成四条路径,对接具身智能产业的岗位需求。




