Retos de la escena
- Oclusión del follaje: Las hojas y ramas pueden ocultar parte de una fruta, lo que dificulta que la segmentación convencional recupere el contorno completo.
- Calidad de la nube de puntos: Los bordes borrosos, el ruido o la baja densidad de puntos reducen la forma 3D utilizable del objetivo.
- Procesamiento en el dispositivo: Las tareas de cosecha necesitan que la percepción y el procesamiento de algoritmos se realicen cerca del robot para reducir la dependencia del cálculo remoto.
Retos de visión en un huerto
Componentes de la solución
Segmentación semántica consciente de las oclusiones
El Intelligent Equipment Technology Research Center de la Beijing Academy of Agricultural and Forestry Sciences utiliza la fusión de características multiescala y la información contextual para ayudar a recuperar los contornos de las manzanas parcialmente ocultos por el follaje.Percepción 3D RGB-D
El M4 Pro proporciona imágenes RGB y datos de nubes de puntos para capturar la forma y la textura de las frutas, y planificar la ruta de cosecha.Procesamiento de algoritmos en el dispositivo
El M4 Pro permite ejecutar algoritmos en una plataforma integrada, lo que permite procesar los datos en el huerto y que el robot responda dentro del flujo de trabajo de cosecha.
Robot de cosecha de múltiples brazos en un huerto
Ejemplo de aplicación
El Intelligent Equipment Technology Research Center de la Beijing Academy of Agricultural and Forestry Sciences desarrolló un robot integrado de múltiples brazos para la cosecha, la recogida y el transporte. En un huerto estándar de árboles enanos y alta densidad de Changping, el robot utilizó una cámara RGB-D M4 Pro de MRDVS para ayudar al reconocimiento, la localización y la cosecha de manzanas.El rendimiento real del reconocimiento depende de la variedad de fruta, la oclusión, la iluminación, la instalación de la cámara y la configuración del algoritmo. Recopila datos y valida el sistema en el huerto objetivo antes de la implementación.