元启芯控 YUANQI EMBEDDED ENGINEERING

首页/ 案例/ 边缘 AI 视觉/ 视觉追踪机械臂小车

视觉追踪机械臂小车
移动抓取 · 视觉识别 · 机械臂 样机验证

视觉追踪机械臂小车

面向视觉识别、机械臂抓取与移动平台协同的智能机械臂小车:STM32F103 管底盘与六轴臂的实时控制,树莓派负责相机标定与色块识别,两端用串口协议互联,把「看见目标—对准—抓起来」跑成一个闭环。

STM32F103 + 树莓派六轴机械臂麦克纳姆轮全向底盘手眼标定
01 / PROJECT OVERVIEW

项目概况

这个项目做了什么、做到什么程度。

01 STM32F103 + 树莓派
02 六轴机械臂
03 麦克纳姆轮全向底盘
04 手眼标定
05 逆运动学抓取

看见—对准—抓取跑成一个闭环:树莓派认目标,STM32 管底盘与六轴臂,一条串口把两端连成一台设备。

02 / BACKGROUND

背景与需求

客户原来的做法和真正要解决的问题。

这类平台最容易做成三块互不相干的模块:底盘只认遥控、机械臂只认示教、摄像头只认显示。要让小车自己完成一次抓取,缺的其实是三件事之间的换算关系——相机看到的像素点怎么变成底盘坐标系里的位置,目标位置又怎么变成六个关节的角度。这台小车就是把这三件事串起来,做成一条可复现的演示链路,用于机器人视觉定位、手眼标定与嵌入式运动控制的教学实验。

03 / OUR ENGINEERING

我们的工程

技术路线,以及具体怎么实现的。

系统分两层:上位是树莓派,接 USB 相机,做相机内参标定、畸变校正、色块分割与目标测距;下位是 STM32F103,管四路麦克纳姆轮的电机驱动、六轴机械臂的舵机输出,以及限位与状态回报。两层之间只有一条串口,所以协议要足够简单又不容易错位:树莓派周期性下发目标相对位姿与动作指令,STM32 回报当前关节角、轮速和抓取状态。

底盘用四轮麦克纳姆轮,四轮独立驱动,可以横移、斜移和原地自转;机械臂六轴,从底座旋转到双指夹爪。难点在协同:底盘负责把目标带进机械臂的工作范围,机械臂负责最后一段精对准,谁动、动多少,都要由视觉给出的偏差来定。

关键工程点

  1. 01
    相机内参标定

    棋盘格多姿态采集,解出焦距与畸变系数,画面边缘的目标位置不再带系统性偏差。

  2. 02
    手眼关系标定

    相机与机械臂基座固定安装,标出两者之间的平移与旋转偏置,视觉坐标可直接换算到关节空间。

  3. 03
    逆运动学解算

    由目标点反解六个关节角,配合分段限速下发,机械臂下探过程不打摆、不过冲。

  4. 04
    全向底盘协同

    四轮麦克纳姆轮独立解算,可横移与斜移;粗对准交给底盘,精对准交给视觉与机械臂。

  5. 05
    串口协议

    固定帧头 + 命令字 + 参数 + 校验,树莓派与 STM32 双向通信,错帧直接丢弃。

04 / MAIN BOARD

自研控制板

同一块控制板的实物与自研原理图:STM32F103 主控在中间,左侧是舵机与模块排针,右侧是四路电机端子,右下是 DC 输入与板载降压,SWD 与串口单独引出。

实物PCB 01
视觉追踪机械臂小车 · 电路板实物
控制板实物

STM32F103 主控 · 左侧舵机与模块排针 · 右侧四路电机端子 · 板载降压与 DC 输入 · SWD 调试口与串口

原理图SCHEMATIC 02
视觉追踪机械臂小车 · 电路板原理图
自研原理图

主控最小系统、电机与舵机接口、串口电平与电源部分均为自研,原理图与 PCB 同源绘制。

05 / DEMO VIDEO

实机演示

两段桌上实拍:先看视觉识别框跟着色块走、小车用全向底盘跟住目标;再看底盘靠近后机械臂下探夹起色块。现场手机录制,未做剪辑。

REC 01 / 实拍记录

视觉追踪:识别框跟着目标走

车载相机的画面显示在右侧屏幕上,识别框始终套住目标块;人手移动色块,小车随即调整朝向与位置,把目标保持在视野中心。

  1. 01
    相机取图

    树莓派读取 USB 相机画面,按标定参数做畸变校正。

  2. 02
    色块识别

    按颜色阈值分割出目标块,取轮廓中心作为跟踪点。

  3. 03
    目标测距

    由识别框在画面中的位置与面积估算目标的方位与距离。

  4. 04
    底盘跟随

    STM32 按目标方位解算四轮麦轮速度,横移或斜移把目标带回视野中心。

时长0:20 画幅方形 1:1 编码H.264 / AAC
REC 02 / 实拍记录

抓取:从对准到夹起

底盘先移动到目标附近,视觉给出最后一小段偏差,机械臂下探、夹爪闭合,把色块夹起并抬离桌面。

  1. 01
    粗定位

    底盘按视觉给出的方位全向移动到目标一侧,机身不需要先转向。

  2. 02
    精对准

    目标进入机械臂工作范围后,视觉给出更细的偏差,底盘做小幅微调。

  3. 03
    手臂下探

    逆运动学解出各关节角度,机械臂按分段限速下探到抓取位。

  4. 04
    夹爪闭合

    夹爪合拢夹住色块,抬臂确认抓取成功。

时长0:17 画幅方形 1:1 编码H.264 / AAC
06 / DELIVERY

交付结果

最终形态、关键数字与交付状态。

机械臂 / ARM 6 轴 从底座到夹爪 底座旋转、肩、肘、腕部与双指夹爪,逆运动学由目标点反解关节角
底盘 / CHASSIS 4 轮 麦克纳姆轮全向移动 四轮独立驱动,可横移、斜移与原地自转,对准目标不用先转向
架构 / ARCHITECTURE 2 端 视觉与运动分工 树莓派做标定与色块识别,STM32F103 跑底盘与舵机实时控制,串口协议互通
闭环 / LOOP 端侧 识别到抓取全在本机 相机标定、目标测距与抓取判定都在小车上完成,不依赖云端算力
交付状态 样机验证

样机完成 · 视觉追踪与抓取已实机验证

项目结论

工程上按「看得准—算得对—动得稳」拆开做。看得准:用棋盘格多姿态采集标定内参,把镜头畸变修平,再按色块轮廓的像素位置和面积估算目标的方位与距离,而不是只凭单目画面猜深度。算得对:相机与机械臂基座刚性固定,标定出两者之间的平移与旋转偏置(手眼关系),目标点先转到机械臂基座坐标系,再用逆运动学解出各关节角度;底盘侧按目标方位解算四轮转速,横移与自转分开处理。动得稳:舵机按分段限速下发,避免一次跳到目标角度造成抖动和过冲;串口帧带固定帧头与校验,错帧直接丢弃,不会让机械臂收到半条指令。 实测跑通两段连续动作:一是人手移动色块,识别框稳定跟随,小车用全向底盘把目标保持在视野中心;二是底盘靠近目标后机械臂下探、夹爪闭合把色块夹起。

工程先看,再谈报价

有类似的项目要做?

说清楚场景和交付要求,工程师直接判断能不能做、要多久。

联系