Алгоритмы и развертывание

Развертывание алгоритмов обнаружения и интеграция результатов

Разверните алгоритмы обнаружения людей, мест хранения и объема, настройте внешние параметры и параметры камеры, а также получайте результаты через TCP, UDP, HTTP или Modbus TCP.

Это руководство посвящено развертыванию, калибровке, настройке и интеграции результатов алгоритмов MRDVS для обнаружения людей, мест хранения и объема. Алгоритм работает на камере; хост-приложение алгоритма используется для настройки, обновления и проверки результатов.

Прошивка алгоритма и хост-приложение алгоритма поставляются для каждого проекта отдельно. Перед прошивкой алгоритма убедитесь, что на камере установлена прошивка MDS. Получите установочный пакет, соответствующий проекту и модели камеры.

Поддерживаемая область

Компоненты системы

Компонент	Функция
3D-камера	Захватывает RGB-изображения и облака точек и запускает алгоритм обнаружения на камере.
Хост-приложение алгоритма	Настраивает алгоритмы, калибрует внешние параметры, отображает результаты и обновляет прошивку алгоритма.
Промышленный ПК или система верхнего уровня	Запускает хост-приложение или считывает результаты через сетевой интерфейс.
LiDAR	`mid360`, используется в исходной конфигурации решения на основе радара.

Алгоритмы и камеры

Алгоритм	Поддерживаемая камера
Обнаружение людей	M4 Pro
Обнаружение мест хранения	S10 Pro
Измерение объема	S10 и S10 Pro

Информацию о продукте см. на странице 3D-камеры S10.

Среда хост-приложения

Параметр	Рекомендуемая конфигурация
Операционная система	Windows 10 или более поздняя версия
ЦП	Intel® Core™ i5 (7-го поколения) или более поздняя версия
Память	8 GB или больше
Графический процессор	Intel® UHD Graphics или более производительный встроенный или дискретный графический процессор

Развертывание оборудования и сети

Установка камеры

Используйте жесткий кронштейн, чтобы после установки предотвратить смещение или вибрацию. Для обнаружения людей обычно используется горизонтальная установка или установка с углом не более 30°.

Подключение устройств

Подключите питание и сеть

Питайте камеру стабилизированным источником 24 V DC. Подключите камеру к гигабитному коммутатору или контроллеру кабелем Cat6A или Cat7.

Разверните несколько камер

Установите каждую камеру на высоте и в положении, указанными в плане CAD. Подключите все камеры через гигабитный коммутатор и проверьте питание и состояние соединения каждой камеры.

Подготовьте тестовые объекты

До калибровки внешних параметров и настройки зон поместите в поле зрения камеры людей, паллеты или товары, которые должны обнаруживаться.

Настройка сети хоста

Поместите хост-компьютер и камеру в одну подсеть. В исходном примере используется следующая схема:

Параметр	Пример
IP-адрес хоста	`192.168.100.xxx`
Маска подсети	`255.255.255.0`
Шлюз по умолчанию	`192.168.100.1`

Откройте настройки адаптера

В Windows откройте Control Panel → Network and Sharing Center → Change adapter settings, затем выберите Ethernet-адаптер, подключенный к камере.

Настройте IPv4

Откройте Internet Protocol Version 4 (TCP/IPv4), выберите Use the following IP address и введите свободный статический адрес в подсети камеры.

Проверьте соединение

Сохраните настройки, убедитесь в наличии гигабитного соединения и используйте хост-приложение для поиска или открытия камеры.

Центр управления сетями и общим доступом Windows

Настройки статического IPv4-адреса Windows

Не оставляйте брандмауэр отключенным в производственной сети. Если хост-приложение не может подключиться, сначала создайте правило для нужного приложения или порта. Временно отключайте брандмауэр только в доверенной сети отладки, затем восстановите защиту.

Установка и обновление программного обеспечения

Установка хост-приложений

Получите хост-приложение камеры на странице загрузки ПО.
Установите хост-приложение камеры не на системный диск.
Скопируйте поставленные для проекта файлы хост-приложения алгоритма в папку Tools каталога хост-приложения камеры. Замените файлы с совпадающими именами, затем дважды щелкните исполняемый файл для запуска.

Чтобы обновить только хост-приложение алгоритма, замените его файл .exe поставленной версией.

Обновление прошивки алгоритма

Во время прошивки камера перезапускается. Не отключайте питание или сеть и не закрывайте хост-приложение. Пакет должен соответствовать модели камеры, версии прошивки MDS и алгоритму проекта.

Хост-приложение камеры
Хост-приложение алгоритма

Запустите LxCameraViewer.exe и откройте камеру.
Выберите Basic tools → Function settings → Firmware upgrade.
Выберите поставленный файл алгоритма обнаружения и нажмите Run.

После перезапуска, когда камера снова появится, прошивка завершена. Зеленый фон камеры в хост-приложении алгоритма означает, что камера подключена и алгоритм доступен.

Хост-приложение алгоритма

Запуск и состояние

Запустите LxApplicationViewer.exe. Зеленый значок в списке устройств означает, что камера подключена. Выберите устройство, чтобы переключить текущий вид между режимом RGB и режимом облака точек. Обычные пользователи могут просматривать результаты; администраторы могут изменять параметры камеры и алгоритма.

Основные инструменты

Функция	Описание
Переключение пользователя	Переключение уровней разрешений. Администраторы могут настраивать параметры камеры и алгоритма.
Идеальная поверхность	Показать или скрыть опорную горизонтальную плоскость.
Поверхность внешних параметров	Показать или скрыть поверхность, рассчитанную по калибровке внешних параметров.
Кэш отображения	Не изменяйте.
Отображение алгоритма	Показать включенный в данный момент алгоритм.
Экспорт сохраненных изображений	Экспортировать сохраненные изображения.
Историческое воспроизведение	Просматривать RGB-изображения и журналы данных ToF.
Переключение алгоритма приложения	Выбрать запускаемый алгоритм, затем нажать Save and send.
Отображение результатов обнаружения	Показать выходные данные текущего алгоритма.

Строка состояния и воспроизведение

Функция	Описание
RGB	Показать RGB-изображение.
Облако точек	Показать облако точек.
Остановить алгоритм	Остановить текущий алгоритм. Он не запустится автоматически, пока камера снова не будет включена.
Обновить прошивку	Открыть рабочий процесс обновления прошивки алгоритма.
Перезапустить камеру	Перезапустить выбранную камеру.

При изменении состояния программа сохраняет один RGB-кадр и данные облака точек. Данные воспроизведения не являются общими для разных алгоритмов. Время воспроизведения использует внутренние часы камеры, а не системное время хост-компьютера. Если фон устройства желтый или он зеленый, но изображение не обновляется, включите автоматическое обновление, чтобы возобновить получение изображений.

Калибровка внешних параметров

Конфигурация камеры

Параметр	Описание
Camera name	Идентифицирует камеру при развертывании нескольких камер.
Simulation mode	Внутренняя функция; оставьте отключенной.
Image-save mode	Сохраняет данные изображений алгоритма на камере.
Image-acquisition mode	`MDS` не занимает доступ к камере. `SDK` занимает его; хост-приложение не может открыть камеру во время работы алгоритма.
`x`, `y`, `z`	Положение камеры во внешних параметрах; `z` — высота камеры над землей.
`roll`, `pitch`, `yaw`	Углы ориентации камеры во внешних параметрах.
Ideal ground	Сохраняйте значение по умолчанию.
Read configuration from camera	Считывает текущую конфигурацию камеры.
Save and send	Записывает изменения в камеру. Несохраненные параметры не применяются.
Extrinsic calibration	Калибрует высоту и ориентацию камеры.

Вертикальная установка
Горизонтальная установка

Откройте Camera configuration. Перед калибровкой задайте x, y, z, roll, pitch и yaw равными 0, затем выберите Save and send.
Выберите Extrinsic calibration. После успешной калибровки проверьте результат на панели параметров.

Калибровка внешних параметров при вертикальной установке

Откройте Camera configuration и перейдите на страницу калибровки параметров.
Совместите поверхность облака точек с системой координат: красная ось X и зеленая ось Y лежат на земле, а синяя ось Z перпендикулярна земле и направлена вверх.
Обычно сначала настраивайте только roll и z, а остальные значения задайте равными 0. После проверки выберите Save and send.

Результат калибровки внешних параметров при горизонтальной установке

Справочник параметров алгоритмов

После изменения любого параметра алгоритма выбирайте Save and send. Сохраняйте параметры фильтра по умолчанию, если проверка на месте не показывает необходимость изменения.

Обнаружение людей
Обнаружение мест хранения
Измерение объема

Глобальная конфигурация обнаружения людей

Параметр	Описание
Версия алгоритма	Текущая версия алгоритма.
Частота обнаружения	Частота обновления изображений и результатов.
Временной фильтр	При значении `3` для признания результата действительным требуются три последовательных одинаковых результата.
Размер ядра	Размер ядра для 2D-морфологических операций. Большие значения уменьшают объекты и расширяют фон.
Порог расстояния	Определяет, похожи ли точки или принадлежат ли они одному классу.
Минимальное количество точек	Минимальное количество точек облака, необходимое для семантической кластеризации.
Минимальное количество несемантических точек	Минимальное количество точек облака, необходимое для несемантической кластеризации.
Размер окрестности	Определяет диапазон соседства точек и влияет на степень детализации кластеризации.
Обнаружение поворота	Соответствует направлению установки камеры; ориентация логотипом вниз используется как отсчет `0°`.

Параметр зоны	Описание
Добавить / удалить зону	Создать или удалить зону обнаружения людей.
Текущий блок	Выбрать активную зону обнаружения.
Минимальный / максимальный `X`, `Y`, `Z`	Определить трехмерные границы зоны.
ID	Имя зоны для различения нескольких зон.
Перетаскивание для изменения зоны	Перетаскивайте левой кнопкой мыши вдоль `x` и `y`, а правой кнопкой — вдоль `z`.

Глобальная конфигурация обнаружения мест хранения

Параметр	Описание
Версия алгоритма	Текущая версия алгоритма.
AI-фильтр	Семантическая сегментация; в настоящее время недоступна.
Частота обнаружения	Частота обновления результатов.
Угол выравнивания	Максимально допустимое отклонение угла груза при включенной проверке выравнивания.
Проверка выравнивания	Проверяет отклонение угла и состояние границ. Обнаруженные объекты отображаются желтыми объемными блоками.
Временной фильтр	Выдает действительное состояние только после нескольких последовательных согласованных результатов.
Минимальное количество точек	Объекты с меньшим количеством точек игнорируются.

Режим зоны	Конфигурация
2D RGB	Используйте минимальные и максимальные пиксельные `X` и `Y` для определения места хранения. Требуются семантический режим и семантическая модель.
3D-облако точек	Используйте минимальные и максимальные `X`, `Y` и `Z` для определения места. Перетаскивайте левой кнопкой мыши вдоль `x` и `y`, а правой кнопкой — вдоль `z`.

Расширенная функция	Описание
Копировать текущий блок	Скопировать активную зону места хранения.
Направление, интервал, количество	Определить равномерно расположенные копии вдоль оси `X`, `Y` или `Z`.
Запуск	Создать несколько зон по конфигурации.
Калибровка QR Code	Ввести ширину и длину места, `Z_MIN` и `Z_MAX`, затем выполнить калибровку с помощью QR-кода.

Настройка зоны места хранения в трехмерном облаке точек

Глобальная конфигурация измерения объема

Параметр	Описание
Версия алгоритма	Текущая версия алгоритма.
Режим запуска	При включении для каждого запуска получают одно изображение и один результат.
Обнаружение вверх	Выполнять обнаружение в обратной системе координат камеры.
Частота обнаружения	Частота обновления изображений и результатов.
Расстояние до плоскости обнаружения	Опорное положение нижней поверхности объекта, в мм.
Количество соседей / порог расстояния	Параметры фильтра; в большинстве развертываний сохраняйте значения по умолчанию.
Порог фильтра нормали	Фильтрует наклонные плоскости облака точек. Исходная рекомендация — `60`.
Порог расстояния по нормали	Параметр фильтра. Исходный рекомендуемый диапазон — `20–30`.
Минимальное количество точек	Объекты с меньшим количеством точек игнорируются.
Минимальные `X`, `Y`, `Z`	Минимальные пороги длины, ширины и высоты, в мм.

Параметр зоны	Описание
Минимальный / максимальный `X`, `Y`, `Z`	Определяет трехмерные границы зоны измерения объема.

Развертывание алгоритма

Переключитесь в режим облака точек и прокрутите область изображения, чтобы отобразить данные облака точек.

Обнаружение людей

Откалибруйте горизонтальную установку

Совместите оси X и Y с облаком точек земли. Ось Z должна быть перпендикулярна земле и направлена вверх.

Задайте глобальные параметры

Откройте Human detection. Обычно требуется задать только Rotation detection. Поворот камеры по часовой стрелке поддерживает 0°, 90°, 180° и 270°.

Создайте зону обнаружения

Выберите Add detection region, задайте минимальные и максимальные X, Y и Z и переместите зону на объект. В исходном примере используется зона размером 1000 × 1000 × 2000 mm.

Сохраните и проверьте результат

Выберите Save and send, выполните тест прохода человека через зону и проверьте результат в строке состояния или историческом воспроизведении.

Правило сопоставления	Нет человека	Человек	Препятствие	Человек и препятствие
Только глубина	`0`	`2`	`2`	`2`
Семантика и глубина	`0`	`1`	`0`	`1`

Режим только глубины сообщает обо всех объектах в зоне. Режим семантики и глубины сообщает только о кластерах, классифицированных как люди.

Обнаружение мест хранения

Откалибруйте камеру

Выполните процедуру калибровки внешних параметров. Совместите X и Y с землей, а Z оставьте перпендикулярной и направленной вверх.

Настройте глобальные параметры

Задайте Alignment check, Alignment angle и Minimum point count для объекта. Включите проверку выравнивания, если груз должен размещаться под заданным углом.

Создайте места хранения

В режиме облака точек выберите Add storage location, переключитесь на вид сверху и нажмите X, чтобы начать или завершить рисование. Перетащите прямоугольник на паллету и настройте границы X, Y и Z. Нажмите X еще раз, чтобы выйти из режима рисования.

Сохраните и проверьте результат

Выберите Save and send. Настройте места в режиме 2D RGB или трехмерного облака точек и проверьте Result в строке состояния.

Рисование зоны места хранения в режиме облака точек

Состояние места хранения	`Result`
Пусто	`0`
Занято или занято и выровнено	`1`
Занято, угол превышает порог выравнивания	`2`
Занято и находится за пределами границ места	`3`

Для регулярной компоновки используйте Copy current box, чтобы создать места с фиксированными направлением и интервалом. Если требуется проверка с QR-кодом, используйте QR Code calibration для настройки размеров места и диапазона глубины.

Измерение объема

Откалибруйте вертикальную установку

Измерение объема выполняется сверху вниз. После калибровки ось Z направлена вниз, а плоскость X/Y параллельна земле.

Задайте плоскость обнаружения

Для грузов, размещенных непосредственно на полу, задайте плоскость обнаружения на высоте пола. Чтобы измерять только грузы на паллете, совместите плоскость с облаком точек паллеты.

Задайте минимальные размеры и зону

Задайте минимальные значения X, Y и Z, чтобы отфильтровать небольшие объекты. Затем задайте границы зоны с учетом плоскости обнаружения и размеров груза.

Сохраните и проверьте результат

Выберите Save and send, поместите один или несколько объектов в зону и проверьте возвращенные длину, ширину, высоту и количество.

Результат измерения объема одного объекта

Для использования получения по одному запуску включите Trigger mode в разделе Volume detection и выберите Save and send. Затем выберите Single trigger в разделе Basic tools или отправьте TM_TRIGGER через TCP или UDP.

Интерфейсы связи

IP-адрес в примерах приведен только для иллюстрации. Замените его адресом камеры на объекте, затем перед интеграцией с системой верхнего уровня проверьте сеть, состояние алгоритма и формат результатов.

Способы передачи

Протокол	Порт	Запрос	Назначение
TCP	`14951`	`RESULT_UPDATE`	Получить текущий результат алгоритма.
UDP	`14950`	`RESULT_UPDATE`	Получить текущий результат алгоритма.
HTTP	`14952`	`RESULT_UPDATE`	Получить результат алгоритма в формате JSON.
TCP / UDP	Порт результатов	`TM_TRIGGER`	Выполнить однократное измерение объема по запуску и вернуть результат.
Modbus TCP	`16502`	Считать регистры хранения	Считать состояние мест хранения.

Запрос результата HTTP

Система верхнего уровня отправляет запрос результата на конечную точку машинного зрения, которая возвращает строку JSON. Используйте в HTTP-клиенте заголовки запроса, поставленные для проекта, и следующее тело запроса.

string

по умолчанию:"RESULT_UPDATE"

обязательно

Запускает возврат камерой текущего результата алгоритма.

Общие поля ответа

string

обязательно

IP-адрес камеры, создавшей данные.

string

обязательно

Имя камеры; измените его в конфигурации камеры.

integer

обязательно

Код возврата; 0 означает успех.

Обнаружение людей (SG)
Обнаружение мест хранения (SS)
Измерение объема (TM)

object

обязательно

Объект состояния с ключами — идентификаторами зон обнаружения: 0 означает отсутствие объекта, 1 — обнаружение человека, а 2 — обнаружение объекта только по правилу глубины.

string[]

Сведения о кластерах. Каждый элемент представляет собой строку JSON, которую необходимо десериализовать повторно.

string

Временная метка данных обнаружения людей.

string

Временная метка результата обнаружения людей.

Сведения о кластерах включают rbx2d, rby2d, tlx2d и tly2d (координаты 2D-блока), semantic_index, traceID, а также x_min, x_max, y_min, y_max, z_min и z_max (границы 3D-блока).

object

обязательно

Объект состояния с ключами — идентификаторами мест: 0 — пусто, 1 — занято, 2 — занято с отклонением угла, 3 — занято и за пределами границ.

number[]

Сведения о месте X: центр x, y и z, длина, ширина, высота и отклонение угла ограничивающего блока. Для места, созданного в 2D, все значения равны -1.

string

Временная метка данных о местах хранения.

string

Временная метка результата обнаружения мест хранения.

object[]

обязательно

Массив полных объемных блоков в зоне обнаружения.

number

Отклонение угла объемного блока.

number

Координата x центра объемного блока.

number

Координата y центра объемного блока.

number

Координата z центра объемного блока.

number

Длина объекта.

number

Ширина объекта.

number

Высота объекта.

string

Семантический тип.

boolean

Действителен ли результат.

string

Временная метка данных измерения объема.

string

Временная метка результата измерения объема.

Пример ответа для обнаружения людей

{
  "IP": "192.168.100.83",
  "SG": {
    "1": 1,
    "2": 0,
    "__object_details": []
  },
  "SG_DATA_TIME": "2023_03_02_21_52_11.408",
  "SG_RES_TIME": "2023_03_02_21_52_11.689",
  "nick_name": "Unknown",
  "ret_code": 0
}

Modbus TCP (обнаружение мест хранения)

Результаты упорядочены по идентификатору места хранения; возвращаются не более первых 16 мест.

Параметр	Значение
Порт	`16502`
Адрес прослушивания	`0.0.0.0` (все сетевые интерфейсы)
Количество регистров	`16`
Начальный адрес	`0x0100`
Порядок байтов	Big-endian

Регистр	Содержимое	Формат данных
`0x0100 + ID`	Результаты обнаружения места хранения и маркера	2-байтовый `uint16_t`
Старшие 8 бит	Код состояния места хранения	`0–2`
Младшие 8 бит	Код состояния маркера	`0–2`; функция в настоящее время недоступна, поэтому код имеет то же значение, что и код состояния места.

Состояние места	Значение	Условие
`0`	Пусто	Нет товара или паллеты.
`1`	Занято нормально	Товар размещен в соответствии с требованиями.
`2`	Занято аномально	Размер или положение груза не соответствуют требованиям.

Состояние маркера	Значение
`0`	Маркер не обнаружен.
`1`	Маркер обнаружен.
`2`	Ошибка обнаружения маркера.

Чтение четвертого места хранения

В следующем примере используется идентификатор транзакции 0x0001 для чтения одного регистра хранения по адресу 0x0104. Ответ содержит состояние 0x0002.

Request: 00 01 00 00 00 06 FF 03 01 04 00 01
Response: 00 01 00 00 00 05 FF 03 02 00 02

Поле	Значение запроса	Описание
Идентификатор транзакции	`00 01`	Порядковый номер клиента; ответ должен ему соответствовать.
Идентификатор протокола	`00 00`	Фиксированное значение Modbus/TCP.
Длина	`00 06`	Количество байтов в следующих полях запроса.
Идентификатор устройства	`FF`	Режим широковещания или адрес устройства.
Код функции	`03`	Чтение регистров хранения.
Начальный адрес	`01 04`	`0x0100 + 4`.
Количество регистров	`00 01`	Чтение одного регистра.

Устранение неполадок

Симптом	Приоритетные проверки
Камера не найдена	Убедитесь, что хост и камера находятся в одной подсети, сетевой адаптер работает на гигабитной скорости, а питание и соединения с коммутатором исправны.
Параметры не применяются	Убедитесь, что после изменения была выбрана команда Save and send.
Нет результата алгоритма	Убедитесь, что прошита правильная прошивка алгоритма, устройство отображается зеленым и алгоритм включен.
Пустое или устаревшее облако точек	Прокрутите область облака точек, чтобы отобразить данные; при необходимости включите автоматическое обновление.
Аномальные результаты места или объема	Повторно проверьте направления осей внешних параметров, плоскость обнаружения и границы зоны, затем повторите тест с объектами на месте.

Начало работы

Программные инструменты

Алгоритмы и развертывание

Развертывание алгоритмов обнаружения и интеграция результатов

Поддерживаемая область

Компоненты системы

Алгоритмы и камеры

Среда хост-приложения

Развертывание оборудования и сети

Установка камеры

Подключение устройств

Настройка сети хоста

Установка и обновление программного обеспечения

Установка хост-приложений

Обновление прошивки алгоритма

Хост-приложение алгоритма

Запуск и состояние

Основные инструменты

Строка состояния и воспроизведение

Калибровка внешних параметров

Конфигурация камеры

Справочник параметров алгоритмов

Развертывание алгоритма

Обнаружение людей

Обнаружение мест хранения

Измерение объема

Интерфейсы связи

Способы передачи

Запрос результата HTTP

Общие поля ответа

Пример ответа для обнаружения людей

Modbus TCP (обнаружение мест хранения)

Чтение четвертого места хранения

Устранение неполадок

​Поддерживаемая область

​Компоненты системы

​Алгоритмы и камеры

​Среда хост-приложения

​Развертывание оборудования и сети

​Установка камеры

​Подключение устройств

​Настройка сети хоста

​Установка и обновление программного обеспечения

​Установка хост-приложений

​Обновление прошивки алгоритма

​Хост-приложение алгоритма

​Запуск и состояние

​Основные инструменты

​Строка состояния и воспроизведение

​Калибровка внешних параметров

​Конфигурация камеры

​Справочник параметров алгоритмов

​Развертывание алгоритма

​Обнаружение людей

​Обнаружение мест хранения

​Измерение объема

​Интерфейсы связи

​Способы передачи

​Запрос результата HTTP

​Общие поля ответа

​Пример ответа для обнаружения людей

​Modbus TCP (обнаружение мест хранения)

​Чтение четвертого места хранения

​Устранение неполадок

Поддерживаемая область

Компоненты системы

Алгоритмы и камеры

Среда хост-приложения

Развертывание оборудования и сети

Установка камеры

Подключение устройств

Настройка сети хоста

Установка и обновление программного обеспечения

Установка хост-приложений

Обновление прошивки алгоритма

Хост-приложение алгоритма

Запуск и состояние

Основные инструменты

Строка состояния и воспроизведение

Калибровка внешних параметров

Конфигурация камеры

Справочник параметров алгоритмов

Развертывание алгоритма

Обнаружение людей

Обнаружение мест хранения

Измерение объема

Интерфейсы связи

Способы передачи

Запрос результата HTTP

Общие поля ответа

Пример ответа для обнаружения людей

Modbus TCP (обнаружение мест хранения)

Чтение четвертого места хранения

Устранение неполадок