HOME >> Japanese >> 遠隔の机状況のプロジェクション共有

遠隔の机状況のプロジェクション共有

一般的なテレビ会議では互いの顔を見ながら会話できますが、離れた机の上同士で共同作業する場合は手元が見えず、十分な情報伝達ができているとは言えません。そこで私たちは、遠く離れた机の上での作業の様子をカメラで撮影して、プロジェクタを使って自分側の机の上に表示する技術を研究しています。このような技術を共有机と呼び、遠隔教育などへの応用を見据えています。

共有机の研究ではこれまで、撮影された机の上の映像をそのまま伝送して投影するという、単純な方法が採用されてきました。しかしながら、この場合、それぞれの机の上の状況(例えば、本や書類の位置や向き)を全く同一にしなければ、書類に書き込んだメモが相手側の書類の同じ場所に表示されなかったり、本の中の文章や図柄を指差した場合に投影された指がズレてしまうという問題が置きてしまいます。そこで私たちは、画像認識技術を応用し、それぞれの机の上に置かれている本やノート等の書類の種類、位置姿勢を認識し、投影する画像をそれに合わせて移動・変形することで、互いの机の上の状況を同一にしなければならないという制約を緩和することに成功しました。

さらに、撮影された映像をそのまま投影する場合、相手の手が自分の手と同じ方向を向いて表示されることになり、自分の手と重なって指差しジェスチャ等を把握しにくくなる可能性があります。また、相手の数が増えると、同じ方向からいくつもの手が表示されるため、一体どの手が誰の手であるかが極めてわかりづらくなるため、さらに状況は悪化します。このような状況を解決するため、私たちは手の画像だけを選択的に抽出し、テレビ会議システムと連動して、相手が表示されているディスプレイと投影された手がつながるように表示することを実現しました。これらを実現するプロトタイプを作成し、指差しやペンで書き込まれた情報が正確に伝達できることを確認するとともに、互いの存在感の観点で従来の共有机よりも良好な環境を提供できるこことを実験により示しました。


Publications

  • Daisuke Iwai, Ryo Matsukage, Sota Aoyama, Tsuyoshi Kikukawa, and Kosuke Sato, "Geometrically Consistent Projection-based Tabletop Sharing for Remote Collaboration," IEEE Access, Vol. 6, pp. 6293-6302, 2018. [Open access]
  • Ryo Matsukage, Daisuke Iwai, Kosuke Sato, "Consistent Desktop Sharing Based on Document Coordinate System for Face-to-face Online Meeting," In Proceedings of ACM SIGGRAPH ASIA Emerging Technologies, Article No. 6, 2015. [pdf]
  • 松蔭瞭, 岩井大輔, 佐藤宏介, "投影型遠隔教育支援システムにおける書類座標系に基づく机上書類位置制約の緩和," 第58回システム制御情報学会研究発表講演会講演論文集, 115-2 (5 pages), 2014.

取材協力

  • フジテレビ(2015年11月8日): ワイドナB面「ConsistentDesk」