近年、急速にAI技術が発展し、2D画像によるコンピュータの認識(画像認識)技術が飛躍的に向上しました。
画像認識技術は、「製造現場における欠陥の検出」や「生態認証」など幅広い分野・業界で使用されており、一般的な認知度も向上しております。

しかし、2D画像での画像認識では、対象物までの距離や形状情報が認識できず、ロボットのピッキングなど、一部の分野で適用できないといった課題がありました。

そこで、上記の課題を補うため、3Dでの物体認識技術が注目され、活用が始まっています。

3Dモデルを物体認識するためには、2D画像におけるカメラのように現実空間の物体をセンシングする必要があります。

3Dセンシングの代表的なデバイスとして、下記が挙げられます。

・LiDAR
・ステレオカメラ
・ToFカメラ

上記のデバイスを使用して取得した3Dモデルに対して、AI処理することで、物体認識することが可能となります。

センシングデバイスにて取得したデータを使用して、画像同様、AIを用いて学習することで3Dモデルに対して、物体認識することが可能となります。

その際、学習に使用するデータは、画像データではなく3Dデータを使用することとなります。

【主なAIモデル】

・PointPillars
・VoxelNet
・PointNet

各AI処理には向き不向きがあり、行いたいタスクにより使い分けが必要です。

また、上記をベースにした派生形のモデルも出てきており、最新版をウォッチすることも重要です

3D物体認識は2D(主に画像)による物体認識とは異なり、様々なメリット、デメリットがあります。

3Dデータを使用することで、距離情報を加味した検知ができるようになったり、形状の特徴が増えることで検出精度が向上したりするメリットがありますが、学習用の教師データの作成コストが増えることがデメリットとして挙げられます。

【メリット】

・奥行(距離)情報を加味した認識ができる

・より多くの形状情報から特徴点を抽出することができる

・カメラよりも広範囲の状況を認識することができる

・人認識の際、個人情報を省くことができる

【デメリット】

・3Dデータの取得自体が大変

・教師データ作成(アノテーション)が大変

・点群の密度により精度に大きく影響を与える

・データ量が多くなり、処理に時間(負荷)がかかる

2Dデータ、3Dデータのどちらを用いて物体認識を行うかは、上記のメリット・デメリットを加味し、判断する必要があります。

距離情報を追加できることや2Dよりも多くの情報から学習できることを生かして、自動運転や重機・建機の自動操縦に活用されています。

また、逆に色のデータは使用しない特性を生かして、プライベート空間での人や物の検出にも活用されたりしています。

自動運転

 

自家用車や重機、建機などの自動運転をする際に障害物などを検出し、停止や回避をする必要があり、距離情報も含めた物体認識が必要となるため、3D物体認識のもっとも注目されている活用例。

工事現場での重機・建機の自動操縦

 

工事現場にて、重機・建機を使用して、堆積した土砂を取り除いたり、資材を運搬したりしている。
自動操縦するためには、堆積物の位置や場所などを検出する必要があり、3Dデータによる物体認識が有効。

ロボットのバラ積みピッキング

 

バラバラに積まれた物をロボットがピッキング(掴む)ことを”バラ済みピッキング”と言う。
掴むものの重心計算が重要となるため、形状情報や距離情報が必要となる。
3Dデータによる物体認識が有効。

図面の自動生成

 

設備のメンテナンスや施設の改修などでは、図面と実際の環境に差が生じているケースが発生する。
図面を実際の環境に合わせて更新するには多くの手間を必要とするが、3Dデータによる物体認識を用いることで、図面を自動生成することが可能となる。