Project Poly-Bucket

小物体を3Dスキャンするためのカメラアレイシステムプロトタイプ

AR/VRコンテンツを制作する際、キャラクター、背景オブジェクトなど、たくさんの3Dアセットが必要です。キャラクタに関しては、以前から人体/顔の3DスキャンモデルをAR側に出力するフローを研究しており、成果もいくつか発表できています。それとは対照的に、背景オブジェクトは数が多いわりに結局一からモデリングしている現状があります。A440は、キャラクタ同様に、背景オブジェクトの制作にも3Dスキャン技術を利用する方法を考えました。

最小限のコスト・機材で小物体のPhotogrammetry撮影可能なシステムを

このプロトタイプの目的は2つあります。

1. は、理屈的にはカメラアレイさえ整えればできるはずです。しかし、対象が小さいだけに、使用するカメラや撮像面が重なる面積など、機材選定・配置の考慮が必要です。

2. に関して、一般的なPhotogrammetryは、写真枚数が多い方がモデル推定に有利です。しかし、カメラの台数がコストに占める割合は非常に高いため、安易に台数を増やすことはできません。そのため、今回は、クオリティを担保しつつ、あえてできるだけ台数を減らす、というアプローチを取ります。

Unityを活用したシミュレーションと3DCADによるハードウェア設計

「Poly-Bucket」の設計・製作フローを以下に示します。

今回は、「ゴミ箱の中に入れたいね」という雑談からすべての設計がスタートしているため、まず、大き目のゴミ箱を準備しました。これにより、必然的に中に入れられる機材の最大サイズが導き出されました。

次に、最低カメラが何台あれば、クオリティを落とさずにモデル推定が可能かを、Unityを活用してシミュレーションしました。Unityはレベルデザインツールであって、シミュレーションツールではないのですが、3Dモデルの配置、ライティング、カメラ台数を自由に・簡単に設定できるため、今回の用途にはもってこいです。各カメラのレンダリング結果をPhotogrammetry用のソフトで読み込み、推定されたモデルの出来をリファレンスモデルと比較しています。リファレンスは、Avattaで3Dスキャンした自分自身の3Dモデルを使っています。3Dスキャンの3Dスキャンなので、当然出来上がる3Dモデルの精度は落ちますが、モデル推定時のノイズの乗り方、モデルの形状、レンダリング画像の解像度によるテクスチャへの影響、ライティングの影響を検証し、最小のカメラ台数と配置を決定しました。

左:Unityでのカメラ配置検証の様子 右:各カメラのRenderイメージ

このシミュレーションでは、他にも、背景条件、キャリブレーション条件など、実環境を想定した検証を実施しています。

シミュレーションの次は、結果を実物に反映させるための機材選定です。今回はカメラ間隔を狭くする必要があり、かつコントローラブルで、できるだけ安価に数量を購入できるという条件から、市販されているWebカメラを使うことにしました。機種は、解像度、組み込みやすさ、値段から選定しています。Webカメラを使うことは、撮像クオリティが低いことを意味しますが、本プロトタイプは静止物体が前提のシステムであることから、画像処理により、Webカメラ固有の問題を解決しています。

機材が決まったところで、Unity上でのカメラ配置を実現すべく、3DCADを使って、ハードウェアを設計しました。一度3DCAD上で組み立てることで、材料費や実製作時間も大幅に短縮することができます。全体構成のみで、細部は大まかですが、この辺りは作りながら考える、ということにしています(ロボコンの経験が生きています)。

3DCADで設計したハードウェア。実際にできるかはもちろん考えてますが、最終的には作りながら考えます

実製作では、当然の如くうまく設計できていないところが出てくるので、リアルタイムで変更しながら進行しました。(CADデータには、その修正が反映されていません。)

製作風景。多数のカメラが並ぶ風景は圧巻です。

システム制御用ソフトウェア

本プロトタイプでは、WebカメラをWindows PC上で動くソフトウェアから制御します。接続先にWindowsを選んだのは、スキャン後の操作も考慮したことによります。あくまでもプロトタイプなので、PCはゴミ箱の外に設置しています。

上にも記載してありますが、基本的なカメラ制御のほかに、撮像時に発生する、Webカメラ固有の問題を、いくつかの画像処理で解決しています。

3Dモデル推定成功までの道のり

(だいたい)設計通りにハードウェアが作れたところで、そうそう思った通りに3Dモデルが作れるわけではありませんでした。「Poly-Bucket」は、蓋を閉めるとほぼ遮光されるつくりになっているので、実は毎回光源環境を変えずに撮影できるという、なかなか理にかなった構造になっています。しかし、このライティングの調整に時間を要しました。光源の配置、色温度などいくつかの対策を経て、無事キャリブレーションも成功、3Dモデルを推定できるようになりました。

左:完成直後の写真。全体的に青く、光源も不均一。 右:調整後。均一光源で自然な色合い

左:通常光源下で撮影したスキャン対象 右:作成された3Dモデル。ニュートラルな光源の状態

システム仕様

(Tsuyoshi NOMURA)