Сложности сцены
- Перекрытие листвой: Листья и ветви могут скрывать часть плода, из-за чего обычной сегментации трудно восстановить полный контур.
- Качество облака точек: Размытые границы, шум или низкая плотность точек уменьшают пригодную для использования 3D-форму цели.
- Обработка на устройстве: Для задач сбора урожая обработка данных машинного зрения и алгоритмов должна выполняться рядом с роботом, чтобы снизить зависимость от удаленных вычислительных ресурсов.
Сложности машинного зрения в саду
Компоненты решения
Семантическая сегментация с учетом перекрытий
Центр исследований технологий интеллектуального оборудования Пекинской академии сельскохозяйственных и лесных наук использует многоштабное слияние признаков и контекстную информацию, чтобы помочь восстановить контуры яблок, частично скрытых листвой.3D-восприятие RGB-D
M4 Pro предоставляет изображения RGB и данные облака точек для получения формы и текстуры плодов, распознавания и планирования траектории сбора урожая.Обработка алгоритмов на устройстве
M4 Pro поддерживает выполнение алгоритмов на встроенной платформе, позволяя обрабатывать данные непосредственно в саду и обеспечивая реакцию робота в рамках рабочего процесса сбора урожая.
Робот с несколькими манипуляторами для сбора урожая в саду
Пример применения
Центр исследований технологий интеллектуального оборудования Пекинской академии сельскохозяйственных и лесных наук разработал комплексного робота с несколькими манипуляторами для снятия плодов, их сбора и транспортировки. В стандартном карликовом саду с высокой плотностью посадки в Чанпине робот использовал RGB-D-камеру MRDVS M4 Pro для распознавания, локализации и сбора яблок.Фактическая эффективность распознавания зависит от сорта плодов, степени перекрытия, освещения, установки камеры и конфигурации алгоритма. Перед развертыванием соберите данные и проверьте систему в целевом саду.