背景与需求
客户原来的做法和真正要解决的问题。
这类平台最容易做成三块互不相干的模块:底盘只认遥控、机械臂只认示教、摄像头只认显示。要让小车自己完成一次抓取,缺的其实是三件事之间的换算关系——相机看到的像素点怎么变成底盘坐标系里的位置,目标位置又怎么变成六个关节的角度。这台小车就是把这三件事串起来,做成一条可复现的演示链路,用于机器人视觉定位、手眼标定与嵌入式运动控制的教学实验。
这个项目做了什么、做到什么程度。
看见—对准—抓取跑成一个闭环:树莓派认目标,STM32 管底盘与六轴臂,一条串口把两端连成一台设备。
客户原来的做法和真正要解决的问题。
这类平台最容易做成三块互不相干的模块:底盘只认遥控、机械臂只认示教、摄像头只认显示。要让小车自己完成一次抓取,缺的其实是三件事之间的换算关系——相机看到的像素点怎么变成底盘坐标系里的位置,目标位置又怎么变成六个关节的角度。这台小车就是把这三件事串起来,做成一条可复现的演示链路,用于机器人视觉定位、手眼标定与嵌入式运动控制的教学实验。
技术路线,以及具体怎么实现的。
系统分两层:上位是树莓派,接 USB 相机,做相机内参标定、畸变校正、色块分割与目标测距;下位是 STM32F103,管四路麦克纳姆轮的电机驱动、六轴机械臂的舵机输出,以及限位与状态回报。两层之间只有一条串口,所以协议要足够简单又不容易错位:树莓派周期性下发目标相对位姿与动作指令,STM32 回报当前关节角、轮速和抓取状态。
底盘用四轮麦克纳姆轮,四轮独立驱动,可以横移、斜移和原地自转;机械臂六轴,从底座旋转到双指夹爪。难点在协同:底盘负责把目标带进机械臂的工作范围,机械臂负责最后一段精对准,谁动、动多少,都要由视觉给出的偏差来定。
关键工程点
棋盘格多姿态采集,解出焦距与畸变系数,画面边缘的目标位置不再带系统性偏差。
相机与机械臂基座固定安装,标出两者之间的平移与旋转偏置,视觉坐标可直接换算到关节空间。
由目标点反解六个关节角,配合分段限速下发,机械臂下探过程不打摆、不过冲。
四轮麦克纳姆轮独立解算,可横移与斜移;粗对准交给底盘,精对准交给视觉与机械臂。
固定帧头 + 命令字 + 参数 + 校验,树莓派与 STM32 双向通信,错帧直接丢弃。
同一块控制板的实物与自研原理图:STM32F103 主控在中间,左侧是舵机与模块排针,右侧是四路电机端子,右下是 DC 输入与板载降压,SWD 与串口单独引出。
STM32F103 主控 · 左侧舵机与模块排针 · 右侧四路电机端子 · 板载降压与 DC 输入 · SWD 调试口与串口
主控最小系统、电机与舵机接口、串口电平与电源部分均为自研,原理图与 PCB 同源绘制。
两段桌上实拍:先看视觉识别框跟着色块走、小车用全向底盘跟住目标;再看底盘靠近后机械臂下探夹起色块。现场手机录制,未做剪辑。
车载相机的画面显示在右侧屏幕上,识别框始终套住目标块;人手移动色块,小车随即调整朝向与位置,把目标保持在视野中心。
树莓派读取 USB 相机画面,按标定参数做畸变校正。
按颜色阈值分割出目标块,取轮廓中心作为跟踪点。
由识别框在画面中的位置与面积估算目标的方位与距离。
STM32 按目标方位解算四轮麦轮速度,横移或斜移把目标带回视野中心。
底盘先移动到目标附近,视觉给出最后一小段偏差,机械臂下探、夹爪闭合,把色块夹起并抬离桌面。
底盘按视觉给出的方位全向移动到目标一侧,机身不需要先转向。
目标进入机械臂工作范围后,视觉给出更细的偏差,底盘做小幅微调。
逆运动学解出各关节角度,机械臂按分段限速下探到抓取位。
夹爪合拢夹住色块,抬臂确认抓取成功。
最终形态、关键数字与交付状态。
样机完成 · 视觉追踪与抓取已实机验证
工程上按「看得准—算得对—动得稳」拆开做。看得准:用棋盘格多姿态采集标定内参,把镜头畸变修平,再按色块轮廓的像素位置和面积估算目标的方位与距离,而不是只凭单目画面猜深度。算得对:相机与机械臂基座刚性固定,标定出两者之间的平移与旋转偏置(手眼关系),目标点先转到机械臂基座坐标系,再用逆运动学解出各关节角度;底盘侧按目标方位解算四轮转速,横移与自转分开处理。动得稳:舵机按分段限速下发,避免一次跳到目标角度造成抖动和过冲;串口帧带固定帧头与校验,错帧直接丢弃,不会让机械臂收到半条指令。 实测跑通两段连续动作:一是人手移动色块,识别框稳定跟随,小车用全向底盘把目标保持在视野中心;二是底盘靠近目标后机械臂下探、夹爪闭合把色块夹起。
整机正面、侧面、俯视与控制板 PCB 3D,全部为实拍原片,可预约看实物。
工程先看,再谈报价
说清楚场景和交付要求,工程师直接判断能不能做、要多久。
点击号码直接拨打