Skip to main content
L’occlusione del fogliame, la luce diurna variabile e le diverse pose dei frutti rendono difficili la segmentazione, la localizzazione 3D e la pianificazione della presa nei frutteti all’aperto. Questa soluzione combina la segmentazione semantica consapevole dell’occlusione con una telecamera RGB-D per fornire dati di percezione ai robot di raccolta.

​
Sfide dello scenario

  • Occlusione del fogliame: foglie e rami possono nascondere parte di un frutto, rendendo difficile per la segmentazione convenzionale ricostruire il contorno completo.
  • Qualità della nuvola di punti: bordi sfocati, rumore o bassa densità dei punti riducono la forma 3D utilizzabile del target.
  • Elaborazione sul dispositivo: le attività di raccolta richiedono che la percezione e l’elaborazione degli algoritmi siano eseguite vicino al robot, per ridurre la dipendenza dal calcolo remoto.
Percezione dei frutti con occlusione del fogliame

Sfide della visione in un frutteto

​
Componenti della soluzione

​
Segmentazione semantica consapevole dell’occlusione

Il Centro di ricerca sulla tecnologia delle apparecchiature intelligenti dell’Accademia di scienze agricole e forestali di Pechino utilizza la fusione di caratteristiche multiscala e le informazioni contestuali per aiutare a ricostruire i contorni delle mele parzialmente nascosti dal fogliame.

​
Percezione 3D RGB-D

M4 Pro fornisce immagini RGB e dati di nuvole di punti per acquisire la forma e la texture dei frutti ai fini del riconoscimento e della pianificazione del percorso di raccolta.

​
Elaborazione degli algoritmi sul dispositivo

M4 Pro supporta l’esecuzione degli algoritmi su una piattaforma integrata, consentendo l’elaborazione dei dati nel frutteto e permettendo al robot di rispondere all’interno del flusso di lavoro di raccolta.
Robot di raccolta multi-braccio in un frutteto sviluppato dal Centro di ricerca sulla tecnologia delle apparecchiature intelligenti dell'Accademia di scienze agricole e forestali di Pechino

Robot di raccolta multi-braccio in un frutteto

​
Esempio di applicazione

Il Centro di ricerca sulla tecnologia delle apparecchiature intelligenti dell’Accademia di scienze agricole e forestali di Pechino ha sviluppato un robot multi-braccio integrato per la raccolta, la raccolta in contenitori e il trasporto. In un frutteto standard ad alta densità con alberi nani a Changping, il robot ha utilizzato una telecamera RGB-D MRDVS M4 Pro per supportare il riconoscimento, la localizzazione e la raccolta delle mele.
Le prestazioni effettive del riconoscimento dipendono dalla varietà dei frutti, dall’occlusione, dall’illuminazione, dall’installazione della telecamera e dalla configurazione dell’algoritmo. Raccogli dati e convalida il sistema nel frutteto target prima della distribuzione.