客户要在产线上做外观缺陷检测,要求单相机 30 fps、不能联网。我们选了 RV1126B,这篇记录部署过程。
流程
PyTorch 训练 → ONNX 导出 → RKNN Toolkit2 量化 → 板端推理
量化用的是 INT8,校准集取了 500 张现场图。这里有个关键点:校准集必须包含现场光照条件,如果用公开数据集校准,精度会掉 8~12 个百分点。
精度损失
| 模型 | FP32 mAP | INT8 mAP | 下降 |
|---|---|---|---|
| YOLOv5s | 0.842 | 0.831 | 1.1 |
| YOLOv8n | 0.867 | 0.859 | 0.8 |
用现场图校准后,INT8 的精度损失控制在 1 个百分点以内,可以接受。
实测帧率
1080p 输入、YOLOv8n:
- 纯推理:42 fps
- 含前处理(缩放、归一化):31 fps
- 含后处理(NMS):28 fps
前处理是我们自己用 RGA 硬件加速写的,比 OpenCV 的 CPU 实现快 3 倍。如果直接用 OpenCV,帧率会掉到 15 fps 左右。
踩坑
RKNN 的输入必须固定尺寸。 动态 shape 不支持,所有图像先缩放到模型输入尺寸,检测框再按比例映射回原图。
多线程推理要控制队列长度。 我们最初用无界队列,内存 20 分钟就涨到 1.2 GB;改成固定长度 4 的队列后稳定在 300 MB。