基于 ROS 2 Jazzy、MoveIt 2 与 MuJoCo 3.12.0 的机器人自动装配仿真系统。工位包含 AUBO-i5H、FT300 六维力传感器、Robotiq 2F-85 夹爪、腕部 D435i RGB-D 相机及 plug / outlet 装配零件。
当前弹性场景已跑通在线观测、抓取、搬运、压入、座入验证、释放和撤离的完整流程。
- 分阶段视觉观测:plug 抓取前按固定朝向摆放,位置在线估计;持物转运后重新估计 outlet 位姿。停稳时开启配准,目标锁定后暂停计算。
- 规划与候选选择:结合 CAD 任务参考帧、实际持物变换、避碰 IK 和路径审计,选择可执行且运动代价较小的装配方案。
- 控制器切换:搬运使用 JointTrajectoryController;抓取下降与压入使用 position 接口的 ForwardCommandController,以 100 Hz 目标频率持续更新关节位置。
- 受力调速压入:任务层根据轴向反力调节路径进度,监测接触、跟踪、滑移和实际深度。两个弹性场景的插入速度上限均为 8 mm/s。
- 等效弹性模型:夹持端保持刚性,卡臂通过被动弹簧阻尼关节实现小幅弯曲与回弹。
- 只读可视化:RViz 显示 RGB、位姿、腕部力/力矩箭头与自动缩放曲线;MuJoCo 展示实际物理场景及遥测。
flowchart LR
V[RGB-D / CAD 感知] --> T[任务编排与保护]
T <--> P[MoveIt 规划]
T --> C[JTC / 位置 FCC]
C --> B[ros2_control 与 MuJoCo 桥接]
B <--> M[MuJoCo 物理仿真]
M -->|相机输入| V
M -->|状态、力与接触反馈| T
当前采用观测后执行与力反馈调速,尚未实现连续视觉伺服、导纳或阻抗控制。弹性参数未进行打印材料标定,持物与座入检查仍使用仿真反馈;完整仿真通过不等于实机验收。
镜像构建与图形环境配置见 Docker 说明。已准备镜像后,可在宿主机运行:
bash scripts/enter_gui.sh该脚本会创建新的 GUI 容器,默认使用 NVIDIA。已有容器需要额外终端时,使用 docker exec -it <容器名或ID> bash,避免重复创建工位。
cd /workspace
source /opt/ros/jazzy/setup.bash
source /opt/roboassembly/venv/bin/activate
python -m colcon build --packages-up-to ra_bringup
source install/setup.bash在同一容器的两个终端执行,保持相同的 ROS_DOMAIN_ID 和 plug_variant。
终端一启动物理工位、相机、控制器和力显示:
cd /workspace
source install/setup.bash
ros2 launch ra_bringup assembly_sim.launch.xml plug_variant:=hard_elastic终端二启动感知、MoveIt、RViz 和装配任务,会驱动仿真机械臂:
cd /workspace
source install/setup.bash
ros2 launch ra_bringup assembly_algorithm.launch.xml plug_variant:=hard_elastic仅查看感知与界面时,给算法命令添加 execute_task:=false。也可单独使用一键入口:
ros2 launch ra_bringup assembly.launch.xml plug_variant:=hard_elastic一键入口和拆分入口二选一,不同时运行。重复装配前先停止算法,再重启仿真恢复零件,最后启动算法;只重启算法不会复位物理场景。
| 变体 | 用途 |
|---|---|
hard_elastic |
hard 卡扣等效弹性模型,完整装配主场景 |
one_hole_elastic |
one-hole 卡扣等效弹性模型,完整装配主场景 |
soft |
原始刚体基准,launch 默认值 |
hard、one_hole |
原始过盈刚体对照 |
运行 one-hole 弹性场景时,将两个 launch 的变体都改为 one_hole_elastic。模型结构、刚度、夹持与压装参数见 零件变体。
| 位置 | 职责 |
|---|---|
src/ra_tasks/ |
阶段编排、候选选择、位置流、抓持与完成判断 |
src/ra_perception/ |
RGB-D 处理、CAD 配准及观测发布 |
src/ra_planning/ |
MoveIt 配置与规划接口 |
src/ra_control/ |
控制器配置、重力前馈及接触反馈插件 |
src/ra_sim/、src/ra_description/ |
仿真场景、遥测、设备描述和几何资源 |
src/ra_calib/ |
标定参数读取、校验与运行时使用 |
src/ra_bringup/ |
系统启动与跨模块配置 |
src/third_party/ |
MuJoCo / ros2_control 桥接源码,独立包名 ra_mujoco_viewer |
scripts/cad/ |
离线模型生成、碰撞维护和验证工具 |
data/、assets/ |
原始 CAD 与离线导出资源 |
docs/guide/、docs/thesis/ |
当前系统说明与后续论文材料入口 |
handoff/ |
当前状态、环境与维护交接 |
log/、build/、install/ |
运行日志及构建安装产物 |
正式场景在 src/ra_sim/scenes/assembly/,工位与任务配置在 src/ra_bringup/config/assembly/。各包 test/ 保存回归测试,根目录 tests/ 保存跨模块辅助。完整职责索引见 src/README。
修改源码或配置后重新构建并重启对应进程,不直接编辑 install/。历史日志已清理,后续运行会重新生成;原始 CAD、正式模型、来源和许可应保留。
自有 Python/C++ 使用 Google 风格,格式检查命令为 python3 scripts/format_src.py --check,需要 YAPF 0.43.0 和 clang-format。第三方源码与生成资源独立维护。测试与构建步骤见 开发与验证,风格边界见 STYLE。
| 文档 | 内容 |
|---|---|
| 系统设计 | 设计取舍、分层架构、数据流与仿真依赖 |
| 自动装配 | 各阶段控制器、保护与完成条件 |
| 视觉与坐标系 | plug 先验、outlet 估计与坐标系示意 |
| RViz 与力显示 | 相机、位姿、箭头及两组力/力矩曲线 |
| 代码架构 | 模块职责与修改时的同步边界 |
| 性能 | 动作速度、物理计算与显示开销 |
| CAD 工具 | 模型生成和独立检查工具分类 |
设备与外部组件的来源和许可随资源保留,汇总见 设备来源。