HOME >> Japanese >> ProDebNet: CNNを用いたプロジェクションマッピングぼけ補償

ProDebNet: CNNを用いたプロジェクションマッピングぼけ補償

プロジェクションマッピングでは、焦点ぼけや表面化散乱(投影面上での光のにじみ)により、投影映像の鮮明さが失われてしまうことがあります。このような投影ぼけ問題に対して、投影結果が目標となる見えを再現できるように、予め投影画像の高周波成分(エッジ)を強調するソフトウェア補正技術が提案されてきています。一方、このような技術を適切に動作させるためには、プロジェクタ各画素のぼけ具合を知らなければならず、その計測のためにドットパターン投影をする必要がありました。この研究では、ドットパターン投影を行うのではなく、投影コンテンツのプロジェクションマッピング結果から直接ぼけ具合を推定して投影画像をソフトウェア補正する技術を提案しています。具体的には、投影結果をカメラで撮影した画像を入力とし、補正した投影画像を出力とするエンドツーエンドの畳み込みニューラルネットワーク(ProDebNet)を構築しました。また、学習用データセットをシミュレーションにより生成することで、様々な実環境での投影結果を収集する必要なくネットワークを学習する「疑似投影」技術も考案しました。実際のプロジェクションマッピング実験を行い、投影ぼけの影響を軽減できることを確認しました。

>> project page <<

Publications

  • Yuta Kageyama, Mariko Isogawa, Daisuke Iwai, and Kosuke Sato, "ProDebNet: Projector Deblurring using a Convolutional Neural Network," Optics Express, Vol. 28, No. 14, pp. 20391-20403, 2020. [open access]