Thách thức trong môi trường
- Che khuất bởi tán lá: Lá và cành có thể che khuất một phần quả, khiến các thuật toán phân đoạn thông thường khó khôi phục đường bao hoàn chỉnh.
- Chất lượng đám mây điểm: Các cạnh bị mờ, nhiễu hoặc mật độ điểm thấp làm giảm hình dạng 3D có thể sử dụng của mục tiêu.
- Xử lý trên thiết bị: Nhiệm vụ thu hoạch cần xử lý nhận biết và thuật toán gần robot để giảm phụ thuộc vào năng lực tính toán từ xa.
Thách thức về thị giác trong vườn cây
Các thành phần giải pháp
Phân đoạn ngữ nghĩa có nhận biết che khuất
Trung tâm Nghiên cứu Công nghệ Thiết bị Thông minh thuộc Học viện Khoa học Nông nghiệp và Lâm nghiệp Bắc Kinh sử dụng phương pháp hợp nhất đặc trưng đa tỷ lệ và thông tin ngữ cảnh để hỗ trợ khôi phục đường bao của những quả táo bị tán lá che khuất một phần.Nhận biết 3D RGB-D
M4 Pro cung cấp hình ảnh RGB và dữ liệu đám mây điểm để ghi nhận hình dạng và kết cấu của trái cây phục vụ nhận dạng và lập kế hoạch đường đi thu hoạch.Xử lý thuật toán trên thiết bị
M4 Pro hỗ trợ chạy thuật toán trên nền tảng nhúng, cho phép xử lý dữ liệu tại vườn cây và giúp robot phản hồi trong quy trình thu hoạch.
Robot thu hoạch nhiều tay máy trong vườn cây
Ví dụ ứng dụng
Trung tâm Nghiên cứu Công nghệ Thiết bị Thông minh thuộc Học viện Khoa học Nông nghiệp và Lâm nghiệp Bắc Kinh đã phát triển một robot nhiều tay máy tích hợp để thu hoạch, thu gom và vận chuyển. Trong một vườn táo tiêu chuẩn với cây lùn và mật độ trồng cao ở Changping, robot sử dụng camera RGB-D MRDVS M4 Pro để hỗ trợ nhận dạng, định vị và thu hoạch táo.Hiệu suất nhận dạng thực tế phụ thuộc vào giống trái cây, mức độ che khuất, ánh sáng, cách lắp đặt camera và cấu hình thuật toán. Hãy thu thập dữ liệu và xác thực hệ thống trong vườn cây mục tiêu trước khi triển khai.