HOME >> Japanese >> SPAP: 走査時間計測によるレーザプロジェクタ幾何補正

SPAP: 走査時間計測によるレーザプロジェクタ幾何補正

プロジェクションマッピング(プロジェクション型AR: Augmented Reality)は、エンタテインメントから医療に至る幅広い分野での利用が進められてきており、最近では、ダンサーや歌手のように動いている人や物に対する動的なプロジェクションマッピングを目にする機会も増えてきた。 プロジェクションマッピングで所望の映像効果を得るためには、対象に位置ずれなくぴたりと映像を位置合わせ(幾何補正)する必要があるが、平面でない物や動いている人や物が投影対象となる場合、手動での位置合わせは大変困難となる。 そこで、このような対象面に投影映像を自動的に位置合わせする技術の研究が世界的に進められてきているが、これまではプロジェクタから特殊なパターン(縞模様の画像等)を何種類も投影しなければならなかったり、カメラを使って動いている対象面の位置姿勢の変化を計測したりする必要があった。 これに対して我々は、走査型のレーザプロジェクタを対象として、従来必要とされてきた特殊パターンの投影やカメラ計測が不要で、光センサによる走査時間計測にもとづいて幾何補正を行う技術(SPAP: Simultaneous Projection and Positioning)を提案した。

レーザを光源とする走査型のレーザプロジェクタは、レーザ光の照射方向を上下左右(パン・チルト)の2軸方向に回転する鏡を使って高速に画像全体を走査させることで映像を表示する(図1)。 つまり、映像中の1画素に着目すると、1枚の画像を表示する時間(16ミリ秒程度)の中で、その画素には1度だけレーザ光が照射される。 我々は、V-Sync(画像表示の基準時刻)から各画素が照射されるまでの時間が常に一定であることを利用し、以下2種類の幾何補正技術を実現した。

図1:レーザプロジェクタのレーザ光が投影領域を走査する様子 図2:提案システムと計測原理の概要

一つ目の技術では、対象面に光センサを埋め込み、映像コンテンツを投影している際に、センサに照射しているプロジェクタ画素の位置をその受光タイミングから求めることで、投影映像を対象面に位置合わせすることを実現した(図2, 図3)。 また、以下に示すように、従来の幾何補正技術における種々の技術的制約を解消できることを、試作システムを用いた実験により明らかにした。 まず、従来の特殊パターンを投影する幾何補正技術では、対象が動くたびに位置合わせのためにパターンを投影する必要があったが、我々の技術ではそのような必要はなくなる。 次に、カメラ計測に基づく従来技術では、対象が動いても継続して位置合わせできる一方で、対象の表面を目印となるマーカーで覆う必要があり、映像投影の妨げとなっていた。 さらに、位置計測の精度は対象までの距離が離れると低下する。 これに対し、我々の技術では、埋め込まれた光センサは極めて小さいため目立ちにくく、またプロジェクタからの距離に位置計測の精度が影響を受けないことを確認した。

図3:光センサを埋め込んだ立体物へのプロジェクションマッピング

二つ目の技術では、光センサをプロジェクタ側に設置して、対象面からの投影コンテンツの反射光を逐次計測することで、プロジェクタ画素と対象面の模様との位置対応を求めることを実現した。 これは、プロジェクタ視点で撮影するカメラを擬似的に再現したことに相当する。 この技術を用いて、従来の画像ARマーカを用いたカメラ計測に基づく位置合わせを、カメラなしでも行えることを明らかにした(図4)。

図4:四隅に再帰性反射材(入射した方向に光を反射する素材)を貼付した画像マーカー(左)と、それをかざしたところだけ衛星写真を観ることのできる地図閲覧アプリケーション(右)

なお、受光タイミングからディスプレイの画素の位置を同定する技術には、ブラウン管ディスプレイへのタッチ入力を行うために開発されたライトペンと呼ばれる技術がある。 また、バーコードリーダーのように、1次元走査するレーザ光の反射強度の時間推移から、反射率の空間パターン、つまり、バーコードの白と黒の帯の幅を計測する技術も既に利用されている。 我々が開発した技術は、こういった受光タイミングからディスプレイ上の位置を計測する従来技術を、プロジェクションマッピングへと転用したものと位置付けられる。

本研究成果は、あらゆる形態のプロジェクションマッピングへの適用が可能であり、幅広い用途への応用が期待できる。 特に、動いている対象に追従して投影映像を位置合わせし続けるケースでは、我々の開発した技術は従来の技術に比べて制約が少なく、実応用への可能性が高いと考えられる。 また、光センサはカメラに比べて極めて安価であり、既に様々な家電製品に組み込まれている。 今後、IoT化が進むと、ネットワーク接続された光センサが更に多量・高密度に生活空間に組み込まれていくことが予想される。 我々が開発した技術によって、このような高度IoT社会において、カメラを用いる追加の計測系を必要とせずに、プロジェクションマッピングによるこれまで以上に生活に密着した様々なサービスを提供できるようになると期待できる(図5, 図6, 図7)。

図5:光センサを埋め込んだIoT型ペン(左)と、それを用いたインタラクティブなお絵かき(右)
図6:光センサを埋め込んだIoT収納箱(左)と、収納内容のプロジェクションマッピング(右)
図7:映像投射型ドローン

Publications

  • Yuki Kitajima, Daisuke Iwai, and Kosuke Sato, "Simultaneous Projection and Positioning of Laser Projector Pixels," IEEE Transactions on Visualization and Computer Graphics (Proceedings of IEEE International Symposium on Mixed and Augmented Reality), Vol. 23, No. 11, pp. 2419-2429, 2017. [pdf] [supplementary material]