跳到主要内容

EMBODIED AI

具身智能

三级递进 · 15 门课 · 167 个实验

具身智能方向以 ROS2 为主线、Jetson Orin Nano 为算力底座,覆盖感知、决策、控制全链路,采用先仿真后实机的教学路径,降低设备损耗与开课门槛。

申请试用
具身智能主视觉 2400×900

方向概述

课程体系按「入门—进阶—综合」三级递进,共 8 大模块、15 门课程、167 个实验,每一门课程都配有可逐条核对的实验清单与课程—设备支撑关系;仿真环节在平台容器环境中完成,实机环节在实训室排课使用。

15门课程
167个实验
3级递进

课程体系

按「基础认知 → 专项技能 → 综合创新」三级递进组织,八大技术模块与硬件设备建立对应支撑关系。

01

入门层

设备认知与基础操作

4 门课 ·32 个实验
02

进阶层

感知 / 控制 / 导航 / 交互专项训练

7 门课 ·70 个实验
03

综合层

大模型驱动 · 面向高年级与科研团队

4 门课 ·65 个实验
入门层
  1. ROS2 基础课程

    20

    从 ROS2 与 ROS1 的差异讲起,覆盖安装方法、命令行操作、开发环境与工作空间、功能包管理,逐一展开节点、话题、服务、动作四类通信与通信接口、参数、分布式通信与 DDS,再打通 Launch 多节点启动脚本、TF2 坐标变换、URDF 建模,最后落到 Gazebo 三维物理仿真与 Rviz / RQT 工具使用。

  2. 底盘运动控制课程

    4

    底盘更换、麦克纳姆轮、阿克曼底盘、履带底盘——四种底盘形态的结构认知与运动控制差异。

  3. 运动控制课程

    3

    IMU 与线速度、角速度校准,IMU 与里程计数据发布,机器人速度闭环控制。

  4. 深度相机基础教程

    5

    深度相机配置、构建工作空间、安装深度相机 ROS SDK、深度相机使用、数据类型与点云。

进阶层
  1. 激光雷达课程

    5

    激光雷达介绍、雷达工作原理及测距方法,以及雷达避障、雷达跟随、雷达警卫三类典型应用。

  2. 建图与导航课程

    10

    URDF 模型入门与说明、SLAM 地图构建原理、slam_toolbox 建图算法、RTAB-VSLAM 三维建图与导航、自主导航、AMCL 自适应蒙特卡罗定位、局部路径规划、雷达单点与多点导航避障。

  3. ROS 与 OpenCV 教程

    4

    颜色阈值调节、颜色识别、二维码创建及识别、自主巡线。

  4. 视觉机械臂课程

    9

    视觉机械臂本体认知、智能总线舵机与注意事项、上位机介绍、动作调用与动作编辑、串联动作文件、动作文件导入导出、机械臂在三维空间中的位置与姿态、机械臂偏差调节。

  5. 机械臂视觉应用课程

    6

    手部跟随、色块识别分拣、色块跟踪、巡线清障、垃圾分类、定点导航搬运。

  6. MoveIt 与 Gazebo 仿真课程

    18

    虚拟机配置与文件导入、URDF 模型入门与说明;MoveIt2 的运动学设计、配置、控制、随机移动、笛卡尔路径、碰撞检测、场景设计、轨迹规划,以及与仿真机械臂联动;Gazebo 入门、xacro 模型可视化、硬件仿真、建图仿真、导航仿真,直至 Gazebo 与 MoveIt2 仿真联动。

  7. 语音控制课程

    18

    WonderEcho Pro 与环形六路麦克风阵列介绍、固件烧录、串口测试、虚拟机安装配置、阵列配置、唤醒词设置、声源定位与语音识别、声卡与扬声器使用;再以语音驱动小车移动、机械臂、颜色识别、颜色追踪、色块分拣、垃圾分拣、多点导航与导航搬运。

综合层
  1. ROS + 机器学习课程

    24

    机器学习与常用库介绍、GPU 与 TensorRT 加速、YOLOv5 模型与运行流程、数据格式转换与模型训练、路标卡片检测、交通标志与垃圾卡片模型训练、实物训练模型;MediaPipe 入门之后的背景分割、3D 物体检测、人脸与三维人脸检测、手与肢体关键点检测、指尖轨迹识别、肢体体感控制、人体跟踪、肢体姿态融合 RGB 控制、人体姿态检测。

  2. 无人驾驶课程

    6

    无人驾驶之车道保持、路标检测、红绿灯识别、转向决策、自主泊车与综合应用。

  3. 移动机器人综合实践

    5

    防跌落、过独木桥、物体追踪、追踪夹取、物体分类等面向真实场景的整机综合任务。

  4. AI 大语言模型课程

    30

    大语言模型概述、部署、调用,以及语义理解与情绪感知;语音大模型的设备、唤醒、识别、合成与交互;视觉大模型的调用、目标识别、场景理解与文字识别;多模态大模型概述、智能体行为编排、API Key 获取与配置、多模态语音控制、自主巡线、颜色追踪;最后落到具身智能应用的视觉追踪、智能管家、智能搬运、路网规划,以及大模型综合应用与离线大模型应用。

全部配套实验指导书、程序源码与教学视频;仿真在平台容器中完成,实机在实训室排课使用。

典型实验

从通信链路、仿真遥控,到建图导航、视觉抓取与多模态交互,串成一条从仿真走向实机的完整路径。

  1. 01
    ROS2 通信与 TF2 坐标变换

    搭起节点、话题、服务、动作四类通信链路,并用 TF2 管理多坐标系变换、在 Rviz 中验证。

  2. 02
    Gazebo 差速小车仿真遥控

    在三维物理仿真平台中搭建差速小车模型,完成键盘遥控与传感器数据接入。

  3. 03
    slam_toolbox 建图与 AMCL 定位

    构建栅格地图并保存,用自适应蒙特卡罗定位在地图中确认机器人位姿。

  4. 04
    雷达单点、多点导航与避障

    指定单点或多点目标,完成全局与局部路径规划,并在动态障碍下避障。

  5. 05
    RTAB-VSLAM 三维建图与导航

    基于深度相机完成三维视觉建图,并在三维地图上执行导航。

  6. 06
    视觉引导抓取与色块分拣

    手眼标定后由视觉引导机械臂完成抓取、偏差调节与色块分拣。

  7. 07
    语音控制导航搬运

    以语音指令驱动移动平台完成多点导航、机械臂抓取与搬运的完整任务链。

  8. 08
    多模态大模型驱动的交互

    部署大语言模型,打通语音交互、视觉问答、场景理解到机器人控制的闭环。

实验与平台环境

仿真在平台容器中完成、实机在实训室排课使用:从 Jetson Orin Nano 算力底座与 ROS2 中间件, 到仿真、建图导航与视觉推理工具链,再到语音与多模态大模型。

  • Jetson Orin Nano
  • ROS2 / Nav2 / MoveIt2
  • Gazebo / rviz2
  • slam_toolbox / RTAB-VSLAM
  • OpenCV / TensorRT / YOLOv5
  • MediaPipe
  • 六路麦克风阵列
  • 语音 / 视觉 / 多模态大模型
就业出口

覆盖算法、运动控制、多模态感知与系统集成四条路径,对接具身智能产业的岗位需求。

具身智能算法工程师机器人运动控制工程师多模态感知算法工程师具身智能硬件与系统集成工程师

想把具身智能方向建起来吗?

提交单位名称与工号后,我们会结合现有实训条件安排课程、实验与平台演示。