3次元点群処理の技術とPythonライブラリまとめ（初級編）

AMBLでデータアナリストをしている「べあ」です。好きな色は「レグホーン」です。
普段は点群データを扱った研究開発をしています。
今日は私が業務で使っている「３次元点群」とは何か？どんなことができるのか？3次元点群データとその要素技術、Pythonで扱うためのライブラリを紹介します。
この記事は、QiitaのAMBL株式会社 Advent Calendar 2022に投稿した記事を再編集したものです。AMBLのAI開発にご興味をお持ちいただけたら、ぜひQiitaのAMBL株式会社 Advent Calendar 2022もご覧ください。

■3次元点群とは？

3次元点群データとは、LiDARなどの3次元測量センサによって得られた 3 次元位置情報（X,Y,Z）を持った点の集合を指します。
自動運転の分野では道路や周囲の物体の検出、土木や建設分野では3Dモデルの作成や測量のために用いられています。

■3次元点群の処理と要素技術

画像処理には「ハイパス/ローパス」などを用いたフィルタリング、AIを使用した物体検出がありますが、点群処理にも様々な処理があります。

ここでは代表的な点群処理のタスクと、多くの処理技術の中から、私が使用した(調べたこと)ことのある技術や代表的な手法を独断と偏見で選んだ使いやすい技術を各2つ紹介していきます。

	従来手法	ディープラーニング, 機械学習
フィルタリングノイズ除去	・Radius based outlier filter [Code] → 球の半径内にある点の個数で判断　・Statics based outlier filter [Code] → k近傍点との距離の平均から判断	・PointCleanNet [Paper] →PCPNetを応用した深層学習によるノイズ除去モデル・DMR Denoise [Paper] → サブサンプル点およびその近傍特徴から、ノイズの多い点群特徴を学習。教師なし教師ありのどちらにも対応
ダウンサンプリング	・Farthest Point Sampling [Code] → 遠い点からサンプリング・Voxel grid Sampling [Code] → グリッド内の点の重心点をサンプリング	・Learning to Sample [Paper] → PointNetを基本構造としたサンプリングする点を生成するネットワーク・Sample Net [Paper] → Learning to Sampleの応用
アップサンプリング	・Edge Aware resampling [Paper] → エッジと法線を利用したアップサンプリング・Upsampling using Voronoi diagram[Paper] → ボロノイ図を利用したアップサンプリング	・EC-Net [Paper] → Edge Aware resamplingをネットワークの学習に応用・PU-GAN [Paper] → GAN（敵対的生成ネットワーク）を応用
特徴点	・ISS [Code] → 距離によって重み付けして計算・Harris-3D [Paper]→ Harrisコーナー検出の3次元点群への応用	・3DFeatNet [Paper] → キーポイント検出器と特徴量を弱教師あり学習で求める・USIP [Paper] → 教師なしのキーポイント検出
レジストレーション	・ICP [Code] → 点群の剛体変換を求めて繰り返すことで一致させる・CPD [Paper] → 確率モデルを使用したアプローチ	・PointNet LK [Paper] → LK法にPointNetを適用したネットワーク・DCP [Paper] → DGCNNなどでエンコードし,transformerで対応付けする
分類 / セグメンテーション	–	・PointNet [Paper] → 後発の研究にも大きな影響を与えた点群処理における代表的なモデル　・Point Transformer [Paper] → Transformerのアイデアを応用したモデル・RandLA-Net [Paper] → 効率的に演算するためのランダムサンプリングと局所的な特徴を抽出するLocal Feature Aggregationからなるモデル・KPconv [Paper] → 点群の効果的な畳み込みを用いたモデル
物体検出	–	・PointPillars [Paper] → 点群をPillarという特徴に変換することで高速な物体検出が可能・VoteNet [Paper] → 物体の中心をハフ変換の投票メカニズムの応用で予測し、物体を検出