HOME >> Japanese >> CNNを用いた動的プロジェクションマッピングぼけ補償

CNNを用いた動的プロジェクションマッピングぼけ補償

プロジェクションマッピングにおける投影ぼけ(焦点ぼけや表面化散乱)を補償するニューラルネットワークの研究を行っています。私達のこれまでの技術では、一旦表示したい目標画像を投影し、その投影結果からぼけ具合を推定して補償画像を生成していました。このため、この方法では動画に対応していませんでした。そこでこの研究では、一つ前の映像フレームの投影結果を入力とし、現在のフレームの投影画像を出力とする畳み込みニューラルネットワークを提案しました。また、学習用データを生成する「疑似投影」技術にも改良を加え、より現実の投影-撮影系に近い状況を計算機内に再現することで、実機セットアップの位置ずれに頑健なシステムを実現しました。ロボットアームを用いて投影対象の動きを制御した動的プロジェクションマッピング環境において、提案手法の有効性を確認しました。

>> project page <<

Publications

  • Yuta Kageyama, Daisuke Iwai, and Kosuke Sato, "Online Projector Deblurring Using a Convolutional Neural Network," IEEE Transactions on Visualization and Computer Graphics (Proceedings of IEEE Conference on Virtual Reality and 3D User Interfaces), Vol. 28, No. 5, pp. 2223-2233, 2022. [open access]