ビジョン誘導による果物・野菜の収穫

葉による遮蔽、変化する日光、さまざまな果実姿勢により、開放的な果樹園でのセグメンテーション、3D 位置特定、把持計画は難しくなります。本ソリューションは、遮蔽を考慮したセマンティックセグメンテーションと RGB-D カメラを組み合わせ、収穫ロボット向けの知覚データを提供します。

​

シーンの課題

• 葉による遮蔽: 葉や枝が果実の一部を隠すため、従来のセグメンテーションでは完全な輪郭を復元しにくくなります。
• 点群品質: エッジのぼけ、ノイズ、点密度の低下により、対象の有効な 3D 形状が減少します。
• オンデバイス処理: 収穫作業では、リモート計算への依存を抑えるため、ロボットの近くで知覚とアルゴリズム処理を行う必要があります。

​

ソリューションの構成

​

遮蔽を考慮したセマンティックセグメンテーション

北京農林科学院知能装備技術研究センターは、マルチスケール特徴融合と文脈情報を用いて、葉に一部隠れたリンゴの輪郭復元を支援しています。

​

RGB-D 3D 知覚

M4 Pro は RGB 画像と点群データを提供し、果実の形状とテクスチャを取得して、認識と収穫経路の計画に利用します。

​

オンデバイスアルゴリズム処理

M4 Pro は組込みプラットフォーム上でのアルゴリズム実行をサポートします。これにより果樹園でデータを処理し、収穫ワークフロー内でロボットが応答できます。

​

適用例

北京農林科学院知能装備技術研究センターは、収穫、回収、搬送を統合した多腕ロボットを開発しました。昌平区の標準的な矮化密植果樹園では、MRDVS M4 Pro RGB-D カメラを使用して、リンゴの認識、位置特定、収穫を支援しました。