1. 简介
体积检测算法是迈尔微视(MRDVS)开发的专属于体积测量场景使用，用于自研 M 系列相机在物流、快递、煤场、仓储等场景使用。体积检测算法在相机内部运行，无需搭配外置工控机。算法支持静态、动态检测。
软件只需用户进行相机外参标定、绘制检测范围，即可对单个 / 多个物体检测测量。外参标定可自动获取标定结果，可支持多相机拼接检测。
本文主要介绍迈尔微视体积检测功能部署及使用。
2. 体积检测应用场景
2.1 物流行业
通过获取货物的体积重量等信息，实现精细化运营，有利于提高车辆装载率，降低用车成本、运输成本以及人工成本，实现全流程的降本增效。
能快速检测货物/箱体体积重量，一键计算运费。配合地磅，还能有效地对货车和集装箱卡车进行测量，确保整车不超重。
2.2 快递行业
在快递收发的时候，借助智能体积测量设备，能快速获取货物的体积重量等信息，数据对接到内部系统，便于查找和翻查，既避免了数据丢失的问题，也有效减少了人工投入和提高作业效率。
2.3 煤矿行业
传统大型煤炭矿石堆体积测量方式通常采用全站仪、RTK单点测量方式，且需要人工对特征点进行精准提取。然而由于大型煤炭矿石堆通常不便攀爬，精准特征点的提取因而异常困难；同时单点测量方式测量数据密度小，也无法精准获取煤炭矿石堆的体积，导致作业效率极低。
2.4 仓储行业
在物流、仓储甚至一般工业行业中，AGV搬运货物，出入库需要进行货物体积、重量检测。
3. 解决问题
在物流、仓储等工业行业中，获取物品体积数量、掌握物品出入库情况对生产库存管理具有重要意义。然而传统解决方案始终面对着技术手段缺乏、测量误差大、人工管理效率低下及监管困难等难题。
迈尔微视ToF相机体积检测比雷达、结构光、2D相机更具有优势，迈尔微视相机部署简单，仅需相机固件支架、电源线、网线，算法在相机内部运行，无需多余工控机配置，使用更加便捷、成本相比雷达等更低。
4. 相机硬件部署指南
4.1 使用相机类型
相机类型：M系列相机
相机用户手册：M系列ToF相机
4.2 相机安装方式
体积检测相机M4采用固定式安装方式，相机向下拍照，尽量保证相机镜面与地面平行，如下图为安装示意图。
图4.1 安装示意图
4.3 相机连接
相机24V供电，通过超 6 类 / 7 类网线连接，相机安装部署后，通过笔记本电脑打开体积检测上位机软件，进行相机的外参标定和检测范围设置。算法会实时在相机内部运行，多台相机部署，需通过千兆交换机进行连接。
5. 相机软件安装指南
5.1 软件安装流程
第一次使用软件，可以参照如下流程完成操作。
5.2 体积检测上位机运行环境要求
建议运行体积检测上位机设备满足要求。
操作系统 | Windows10 及以上 |
CPU | 建议 Intel® Core™ i5 七代及以上 |
内存 | 8G 及以上 |
GPU | Intel(R) UHD Graphics/核显以上 |
5.3 安装相机上位机软件
相机上位机软件可通过迈尔微视知识库进行获取并下载。点击进行下载→软件下载
2、双击进行安装Lanxin-MRDVS上位机软件，需要上位机安装在c盘以外。
3、选择使用的语言后，点击【确定】，选择C盘以外的安装目录，并点击【下一步】。
4、勾选【创建桌面快捷方式】，点击【下一步】。
5、点击【安装】按钮，开始安装软件。
6、安装完毕后，可运行相机上位机软件。
5.4 安装体积检测上位机软件
将获得的体积检测上位机软件，复制到相机上位机 \Lanxin-MRDVS\Tools 中。
2、替换时，选择【替换目标中的文件】。
3、双击点开即可运行软件。
4、左侧设备列表栏，相机状态处于【Unknown】表示相机没有体积检测算法。
5.5 体积检测软件升级
体积检测软件升级，仅需要替换“.exe”文件。
5.6 算法升级
相机算法升级需要打开相机上位机软件，双击【LxCameraViewer】。
2、点击【打开】按钮，进行查看相机成像。
3、点击基础工具→功能设置→【固件升级】，进行体积检测算法刷入。(算法请找技术支持人员获取)
4、点击【执行】按钮后，选择“体积检测算法”，点击【打开】按钮，开始算法刷入。
5、算法刷入过程中，相机会重新启动，左侧设备列表相机ID会消失，待重新显示后，表示刷入成功。
6、此时，再次打开体积检测软件，设备列表显示为绿色。
6. 体积检测软件界面
6.1 体积检测程序启动
1、双击【 LxApplicationViewer.exe 】程序，启动体积检测软件。点击左侧设备列表中在线的相机，打开相机图像。
2、当前用户选择管理员，无需输入密码，直接点击确认进入管理员模式(用户模式无法进行体积检测参数设置)。管理员模式会多出体积检测、相机配置选项。
6.2 基础工具
基础工具主要包含用户切换、理想地面、外参地面、多个体积盒显示、触发按钮、导出存图、历史回放、体积状态。
基础工具 | 功能含义 |
用户切换 | 切换权限，用户权限：仅查看检测结果。 管理员权限：可进行相机配置、体积检测参数配置等 |
理想地面 | 地面参照水平线，可关闭。 |
外参地面 | 相机外参标定高度的水平面，可关闭。 |
体积盒显示 | 当检测区域有多个物体检测时，可切换不同体积盒，查看不同物体检测结果。 |
触发按钮 | 设置为触发模式后，可调用此触发按钮，进行图像和结果获取。 |
导出存图 | 导出存储的图像 |
历史回放 | 查看RGB和TOF的图像日志。 |
体积检测结果显示 | 显示检测结果，物体个数、物体长、宽、高。 |
6.3 全局配置
切换相机工作模式。
6.4 体积检测
体积检测全局配置 | 功能含义 |
算法版本号 | 当前算法版本信息。 |
触发模式 | 触发开关按钮，当将触发模式开启后，点击“保存并下发”按钮，即成功开启。 |
向上检测 | 相机坐标系反向检测（当前为向下检测，即检测平面到物体表面距离，开启向上检测后，即检测物体表面到相机的距离）。 |
检测频率 | 算法检测的频率。即多少ms刷新图像+结果数据。 |
检测平面距离 | 相机距离检测平面距离，此距离跟测量高度有关。单位：mm。 |
邻域数量阈值 | 滤波参数，无需更改。默认值即可。 |
邻域距离阈值 | 滤波参数，无需更改，默认值即可。 |
法向量滤波阈值 | 物体边缘圆角滤波参数，推荐60（一般无需调整）。 |
法向量距离阈值 | 滤波参数，推荐值20-30（可兼容大部分检测物体）。 |
最小点数量 | 当物体点云 大于 最小点数量才认为有物体。 |
最小X | 物体最小长度，小于此值，无法检测。单位：mm。 |
最小Y | 物体最小宽度，小于此值，无法检测。单位：mm。 |
最小Z | 物体最小高度，小于此值，无法检测。单位：mm。 |
体积检测区域配置 | 功能含义 |
最小X | 体积检测框X方向最小值 |
最大X | 体积检测框X方向最大值 |
最小Y | 体积检测框Y方向最小值 |
最大Y | 体积检测框Y方向最大值 |
最小Z | 体积检测框Z方向最小值 |
最大Z | 体积检测框Z方向最大值 |
6.5 相机配置
相机设置 | 功能含义 |
相机名称 | 修改当前相机的名称，当有多台时，可通过相机名称进行判断。 |
仿真模式 | 内部使用，用户无需打开。 |
存图模式 | 开启算法存图，在相机内部进行存储图片数据。 |
取图模式 | 取图模式分为MDS和SDK，采用MDS不会占用相机权限，可正常打开相机上位机，采用SDK会占用相机权限，运行算法时，无法打开上位机。 |
x | 相机标定的x位置 |
y | 相机标定的y位置 |
z | 相机标定的距离地面高度 |
roll | 相机标定的角度 |
pitch | 相机标定的角度 |
yaw | 相机标定的角度 |
理想地面 | 默认即可。 |
保存并下发 | 外参标定完成后，通过点击【保存并下发】按钮进行保存，否则参数不生效 |
从相机读取配置 | 从相机读取当前配置参数 |
外参标定 | 标定相机距离地面高度、相机roll、pitch、yaw角度。 |
6.6 语言
中英文进行切换。
6.7 状态栏
状态栏 | 功能含义 |
RGB | 勾选后，查看RGB图像 |
点云 | 勾选后，查看点云图像 |
停止算法 | 点击停止算法后，在下一次相机上电前，不会启动算法。 |
升级固件 | 可进行算法固件升级 |
重启相机 | 将相机重新启动。 |
7. 体积检测部署流程
打开体积检测软件后，默认为RGB图，点击进行切换为点云图后，图像会为黑色状态，需要将鼠标移动到图像显示区域，通过鼠标滚轮上下滑动、按住鼠标左键移动，才会显示点云数据。
7.1 相机网络配置
以Win10系统为例，双击控制面板
进入控制面板后，点击“查看网络状态和任务”。
进入网络和共享中心界面，点击“更改适配器设置”。
进入网络连接界面，鼠标双击选择相机连接的以太网。
查看以太网状态（建议使用千兆网口），并点击“属性”按钮。
进入以太网属性界面，找到“Internet协议版本4(TCP/IPv4)”，双击打开。
进入Internet协议版本4(TCP/IPv4)界面，选择“使用下面的IP地址”，进行IP地址和子网掩码和默认网关的书写。
IP地址设置：192.168.100.xxx 子网掩码：255.255.255.0 默认网关：192.168.100.1，如下图设置好的IP，设置完成后点击“确定”按钮。
点击确定按钮后，会自动回退到上一个界面，再次点击“确定”，完成网络配置。
7.2 防火墙关闭确认
在 Windows 防火墙中按项目要求放行相机软件及通信端口。下方旧版截图仅用于定位设置入口；部署时保持防火墙开启。
2、以Win10系统为例，双击桌面的【控制面板】，进入后点击【系统和安全】。
3、点击【Windows Defender防火墙】按钮进入防火墙页面
在 Windows 防火墙中按项目要求放行相机软件及通信端口。下方旧版截图仅用于定位设置入口；部署时保持防火墙开启。
在 Windows 防火墙中按项目要求放行相机软件及通信端口。下方旧版截图仅用于定位设置入口；部署时保持防火墙开启。
7.3 体积检测外参标定
在 Windows 防火墙中按项目要求放行相机软件及通信端口。下方旧版截图仅用于定位设置入口；部署时保持防火墙开启。
2、点击相机配置，切换到参数标定界面，进行外参标定前，要保证x、y、z、roll、pitch、yaw为0，如果非0，需要将所有参数归0，并点击【保存并下发】按钮，参数保存成功后，重新进行外参标定。
3、确认参数均为0后，点击【外参标定】按钮，标定成功后，软件会弹出提示框。在右侧参数栏中可以看到已经标定的相机参数。
4、将“z”相机高度值记录后，将z值改为0，并点击【保存并下发】按钮，相机标定参数保存成功。(相机z值需要在体积检测中，检测平面距离进行设置，所以相机标定的高度记录后，需要改为0，否则检测会有问题)
5、将标定的参数保存下发后，外参标定完成，下一步进行体积检测参数设置。
7.4 体积检测平面距离设置
1、点击体积检测，切换到体积检测参数设置页面，首先进行“检测平面距离”设置，这个关系到绘制检测区域和检测准确度。
2、将外参标定中得到的“z”高度值2709，填入到检测平面距离中，此为相机距离检测平面实际距离，点击【保存并下发】按钮，将设置的高度值写入到相机。
3、通过移动点云图像数据，可以看到地面高度已经变化，此时可进行体积检测区域配置。
7.5 体积检测范围设置
检测范围设置，调整检测的长宽（xy）建议先切换到上下视图， 如下为各视图的快捷键。
2、通过键盘上快捷键切换到上下视图，如下图所示，红色箭头所指的白色框，表示检测范围的x方向，鼠标滚轮滚动即可修改对应数值，完成检测范围长宽调整。当前将检测范围x方向最大、最小设置为600、-600。
3、绿色箭头所指的白色框，表示检测范围的y方向，鼠标滚轮滚动即可修改对应数值，完成检测范围长宽调整。当前将检测范围y方向最大、最小设置为480、-580。
4、蓝色箭头所指，表示检测范围的z方向，鼠标滚轮滚动可修改数值，也可直接输入数值，当前检测范围最大z值建议设置比检测平面距离略高出一些，当前检测平面距离为2709，最大z设置为2690。检测最小范围根据物体的大小进行设置，如果物体高度超出最小z值，算法不会进行检测。
5、将检测区域配置好后，点击【保存并下发】按钮，将参数保存到相机内部。
7.6 体积检测结果查看
将外参标定、体积检测参数、体积检测区域设置好后，点击“基础工具”，在检测区域内放入物体即可查看结果。当前为无物体，在基础功能栏会显示无任何物体。
2、当前放入物体后，在体积状态显示栏会显示当前物体长、宽、高信息。
3、当放入多个物体后，体积检测结果显示栏会显示多个物体长、宽、高，并会显示物体数量。
7.7 体积检测单次触发功能
体积检测设置界面，将触摸模式打开，并点击【保存并下发】按钮，将触发模式成功打开。
2、点击基础工具，通过点击【单次触发】按钮，获取图像和结果。
8. 通信协议
8.1 TCP通讯
可通过 TCP 通讯获取体积检测结果。通过网络调试助手，远程相机 IP: 192.168.100.82，端口: 14951，发送 RESULT_UPDATE 可以看到返回的体积检测结果信息。
8.2 UDP 通讯
可通过 UDP 通讯获取体积检测结果。通过网络调试助手，远程相机 IP: 192.168.100.82，端口: 14950，发送 RESULT_UPDATE 可以看到返回的体积检测结果信息。
8.3 HTTP通讯
可通过 HTTP 通讯获取体积检测结果，端口号：14952。
2、上层系统（WMS）对视觉发送结果获取信号，视觉返回一个 JSON 格式的字符串。
WMS -> 视觉 | ㅤ |
结果 | 含义 |
RESULT_UPDATE | 触发视觉结果返回信号 |
视觉 -> WMS | ㅤ |
结果 | 含义 |
IP | 数据来源相机IP |
TM | 体积检测状态 |
angle | 框选的物体角度 |
cx | 框选物体x坐标 |
cy | 框选物体y坐标 |
cz | 框选物体z坐标 |
height | 物体高度 |
length | 物体长度 |
width | 物体宽度 |
valid | 置信度过低为false，否则为true |
TM_DATA_TIME | 体积检测数据提取时间 |
TM_RES_TIME | 体积检测结果输出时间 |
nick_name | 体积检测相机名称，相机内可配置 |
ret_code | 返回码，0 为成功 |
9. 附录
{
“IP”:“192.168.100.82”, //相机IP
”TM”:[{
“angle”:-6.821981430053711, //框选物体角度
”cx”:39.98405456542969, //框选物体x坐标
”cy”:257.008056640625, //框选物体y坐标
”cz”:2400.63818359375, //框选物体z坐标
”height”:616.723876953125, //物体高度
”length”:525.5135498046875, //物体长度
”type”:"",“valid”:true, //置信度过低为false
”width”:419.761474609375}], //物体宽度
”TM_DATA_TIME”:“2024_11_13_16_37_47.422”, //体积检测数据时间
”TM_RES_TIME”:“2024_11_13_16_37_48.209”, //体积检测结果时间
”nick_name”:“_default_”, //体积检测相机命名
”ret_code”:0 // 返回码，0 为成功
}