ニュース
[SIGGRAPH]空気で感じるフォースフィードバックや水面ディスプレイなど,ユニークな技術が披露された「Emerging Technologies」レポート(後編)
MicrosoftはEmerging Technologiesレポート前編で紹介した「Foveated 3D Display」以外に,2013年1月に発表した「IllumiRoom」も展示していた。プロジェクションマッピングをゲーム体験や映像視聴に応用する技術で,テレビの外にまで映像がはみ出てくるような表現を可能とする |
[SIGGRAPH]次世代のディスプレイ技術が垣間見えた,先端技術展示会場「Emerging Technologies」レポート(前編)
AIREAL: Tactile Gaming Experiences in Free Air
Rajinder Sodhi氏ほか,Disney Research Pittsburgh
「Kinect」のような完全ハンズフリーのモーション入力システムが登場したことは,マン・マシンインタフェースのあり方に変革をもたらした。ただし,ある重大な課題が,未解決のまま残されている。それは,ハンズフリーのモーション入力システムでは,映像以外にシステム側からのフィードバック手段がないという点だ。
たとえばゲームコントローラの場合,振動機能によるフォースフィードバックが内蔵されるのは,今や当たり前のこと。モーション入力系のゲームコントローラでも,WiiリモコンやPlayStation Moveはスティック状のコントローラを握って操作する仕組みなので,振動フィードバックが可能。つまりハンズフリーのモーション入力システムは,「何かを持ったりしなくていい」という利点が,同時に弱点となってしまっているとも言えよう。
ディズニーのテーマパークで使われる技術など,エンターテイメント分野で利用できるさまざまな基礎技術を研究している「Disney Research」は,この課題に対する提案を,Emerging Technologiesの場で披露した。それは,空気の振動を渦の形で照射するという技術だ。イメージとしては,理科の実験で作る空気砲のようなものであった。
エンクロージャの側面のうち,ノズルのない5面には,直径5cm程度のサブウーファが装着されている。このサブウーファを振動させることで,エンクロージャ内部で空気渦を形成し,ノズルからそれを発射するという仕組みだ。
AIREALは今回が初披露とのことで,会場で披露されていたのは,「AIREALの空気渦フォースフィードバックがどのようなものか」の解説と体験のみ。残念ながら,KinectのゲームをAIREALによるフォースフィードバック付きでプレイする,なんてことはできなかった。
会場での展示は2種類あり,1つはAIREALを使って空気渦を打ち出して,紙製の的を狙うというゲーム感覚のものだった。AIREALは空気渦の射出速度に変化を付けられ,弱いと的が優しく揺れるだけだが,強ければ的が大きくたなびくように揺れるといった具合だ。
2つめは,草花が表示されているテーブル型ディスプレイの上に手を伸ばすと,CGの蝶が伸ばした腕に止まったり,その上で羽ばたいたりするインタラクティブなデモだ。
蝶の映像は,頭上に設置されたプロジェクタから,腕の位置に向かって投影しているだけだ。しかし,腕に止まった蝶が羽ばたくと,その位置に向かってAIREALが空気渦を発射する。空気渦が腕に当たると,その圧力が蝶の羽ばたきで起こった風であるかのように感じられる,という仕組みだった。
ディスプレイ上に手を伸ばすと,そこに蝶が止まる。蝶が羽ばたくと,AIREALにより,その羽ばたきの風圧が感じられる,というデモ |
筆者も体験してみたが,空気渦が腕に当たると,軽く触られたような感触を感じる。映像の蝶が羽ばたくと,その羽ばたきに同期して空気渦がやってくるので,本当に蝶の羽根が当たっているかのような錯覚さえ感じるのは,実に新鮮な体験だった。これがKinect対応ゲームのフォースフィードバックに採用されたら,感動させられそうだ。
非接触かつ安全な方法で,人に振動を伝える手段としては非常にユニークだ。なにしろサブウーファで実現できるのだから,コストメリットも大きく,その意味では現実的なソリューションであると言えよう。
ただし,個人が家庭で楽しむエンターテイメント機器への応用という点では,解決すべき難問がある。とくにゲーム向けのフォースフィードバックシステムとして考えると,やっかいなのが遅延時間だ。ゲームでAIREALを使うならば,映像と同期して空気渦が飛んでこなければ意味がない。
AIREALにおける遅延時間とは,空気渦を発射してから目標(プレイヤーの体)に到達するまでの所要時間にあたる。担当者によれば,発射後0.5〜1.3mくらいまでは,空気渦は7.2m/sの速度で飛ぶので,遅延時間にすると約140msくらいになるとのことだった。60fpsのゲームであれば8フレーム分以上,30fpsでも4フレーム分以上遅れて感じられるという計算になる。しかもこれは,AIREALのノズルを動かさないで済む理想的な状況での数字だ。実際にはモーターによってノズルを動かし,狙いを定める時間も必要となるので,遅延時間はさらに長くなってしまう。
遅延がこのくらいあると,ゲームの映像と同期させるのは困難だし,そもそも動きの速いゲームでは,手に向かって空気渦を発射しても,到達する前にプレイヤーが手を動かしてしまう可能性がある。スローテンポなゲームであれば,現状でもなんとか使えるかもしれない。いずれにしてもゲームを考慮した場合,遅延には改善が必要だろう。
もしかすると近い将来,ディズニーのテーマパークにある体験型アトラクションなどで,柔らかい衝撃が手や頬や首筋にやってきて「あれ?」と思うようなことがあるかもしれないが,それにAIREALの技術が応用される可能性は,決して低くないだろう。
AquaTop Display: A true "immersive" water display system
的場やすし氏ほか,電気通信大学,小池研究室
AquaTopという名前のとおり,このディスプレイは水に映像を投影するものだ。だから,表示面の中に手を入れられる。しかし,水は基本的に無色透明であり,そのままでは映像を投影するのは難しい。そこでAquaTop Displayでは,白濁色の水を使っている。
白濁色の水は一体何でできているのかと,筆頭研究者の的場やすし氏にたずねたところ,「最初はお風呂用の入浴剤を使いました。ただし,ディスプレイとして使えるほどの高濃度になるまで入浴剤を入れると,入浴剤の香りがきつすぎた。そこで試作システムでは,入浴剤の主成分である『酸化チタン』だけの水溶液にしています」という意外な答えが返ってきた。
なんでも,最初の実験は本当に入浴剤を使っていたそうで,入浴剤を入れた水面にプロジェクタで映像を投影してみたところ,非常に鮮明な映像が映し出されたものだから,研究メンバーも驚いたそうだ。
デモを見ていると,水面が波立っていないときはたしかに,白いプラスチックの板に映像を投影しているように見える。ところが,その映像に触れると指が水中に入ってしまうものだから,最初触れたときは何が起きているのかとっさに理解できず,非常に驚く来場者も大勢いたらしい。
展示されていたデモは2種類。1つはシューティングゲーム風の興味深いデモだった。プレイヤーが水中に手を入れて指だけを外に突き出すと,突き出た指の周りに魔法陣のようなエフェクトが発生し,そこに光が集まりだす。そのまま手を前方へ突き出すと,指の周りに発生した光の弾が,その方向へと発射されるというものだ。クラゲのような敵に弾が命中すれば,水面から激しい水しぶきが発生するという,派手な演出まで付いている。
水中に入れた手から指を突き出すと,魔法が指に宿り出し……(左)弾が敵に命中すると,水しぶき付きのド派手な爆発演出が。水しぶきにも色が付くのが,これまた美しい |
水面上には映像で投影された的だけでなく,実体物のソフビ製アヒル人形も浮いており,そこに弾が命中すると,激しい水しぶきエフェクトが発生してアヒルが「ガア」と鳴くという,笑いを誘う楽しいデモになっていた。ぜひ下に掲載したムービーを見てほしい。
もう1つは,PCのデスクトップをイメージしたインタフェースのデモだ。このデモでは,動かしたいアイテムの下に手を入れ,水中から指を突き出すとそのアイテムを動かしたり,サイズを変えたりできるようになっていた。また,ファイルのコピー操作なら,両手でアイテムを水ごとすくい上げて,目的の場所にバシャっと落とすことで行え,ファイルの削除はアイテムを指で選択して,そのまま水面下に沈めると削除されるといった具合だ。
写真やテキストだけではイメージが掴みにくいと思うので,こちらもぜひムービーを見てほしい。タッチパネル操作とジェスチャー入力を一緒くたにしたような操作系は,なんとも面白い。普段使いのPCがこんなGUIになったら,仕事もちょっとは楽しくなるかもしれないが,1日これで仕事をしていたら,手がふやけてしまいそうだ(笑)。
ファイルのコピーは,水面からファイルを両手ですくい上げて,それを目的の場所で落とす |
ウインドウの拡大縮小は,対称アイテムを2本の指で突き指して,指を広げることで操作する |
Kinectが発する赤外光は,透明な水を透過してしまうが,酸化チタン水溶液にすると映像が鮮明に投影されるように,水面上で反射するようになるという。そこで,現在研究グループでは,水中にある指の位置や動きを検出ことも研究中とのことだ。酸化チタン水溶液の濃度を薄くすれば,Kinectでも水中の指の動きを検出できるのだが,そうなると表示映像も薄くなってしまうので,Kinect以外のセンサーを採用することも検討しているとのことだった。
ところで,写真やムービーを見ると,水しぶきにまで色が付いているのが分かるだろう。これを見て「いったいどうやって色を付けているんだ?」と思わなかっただろうか?
水しぶきに色が付いている仕組みは単純で,「直上のプロジェクタから映像を投影しているから」にすぎない。派手な色付きの立体的な水しぶきをわざわざ作っているのではなく,投影映像の中で水しぶきが上がると,自然に色が付いたように見えるだけというわけだ。種明かしをすれば「なんだ,そんなことか」と思うが,体験してみると,このカラフルな水しぶきにはビックリさせられた。
表示面に手を入れられるディスプレイとしては,これまでにも水蒸気を霧状に噴出して,そこに映像を投影する「フォグディスプレイ」というものがあった。しかし,霧に映像を投影する仕組みである以上,どうしてもぼんやりした映像になるという欠点がある。だが,このAquaDisplayならば,スクリーンに投影している映像と同じくらい,くっきりした映像を表示できる。
人体に悪影響がなく,しかも涼しげな水を使うとあれば,夏場のエンターテインメント用としても適していそうだ。的場氏は,「水を使うので,流体シミュレーションを効果的に活用したゲームが実現すれば,面白そうです。たとえば,水に浸かった子供達が,水面に出現したモンスターをみんなで(水面を)叩いて倒すゲームというのも,楽しそうですね」と語っていた。
VibroTracker: a Vibrotactile Sensor Tracking Objects
東京大学,石川 奥 研究室
たとえばスポーツ中継などで,素早く動く選手を視界の中央に捉えたまま撮影するには,カメラマンに相当な技量が要求される。人間の動きならまだしも,高速で走るレーシングカーやバットやラケットで打ったボールが相手となると,カメラの中央で捉え続けるのはプロカメラマンでも難度が高い。
そんな難しいことをテクノロジーで可能にしてしまうのが,東京大学の石川 奥(いしかわ,おく)研究室が開発した「サッカードミラーシステム」(Saccade Mirror,駆動鏡面を用いた高速視線制御デバイス)だ。
サッカードミラーシステムは,左右方向(パン)と上下方向(チルト)に回転駆動する,2対の小型ミラーからなる「ガルバノミラー」(Galvanometer Mirror)と,集光光学系から構成される撮影システムだ。ガルバノミラーとは,本来ならレーザー光を使った面走査システムに使われる可動式の反射鏡だが,サッカードミラーシステムでは,撮影機器を固定したまま広い視界を得るための仕組みに,これを応用している。
研究グループではこのサッカードミラーシステムに,1000fpsの高速度カメラを組み合わせ,自動で被写体を追尾する仕組みに発展させた。
現時点では,設定したキーカラーを検出すると,それが視界中央にくるようにミラーを制御する仕組みになっている。分かりやすく言うと,キーカラーをオレンジ色を設定しておき,球技で使うボールもオレンジ色にすれば,常にボールを視界の中央に置いて撮影できるというものだ。
下のムービーは,サッカードミラーシステムによる自動動体追尾の仕組みを解説したものである。驚くべき精度で,飛び交うボールを追尾している様子が分かる。
オレンジ色のボールを素早く動かしても(左),サッカードミラーシステムを通して撮影された映像は,まったく視界中央から動かない(右)。ちなみにボールを振っているのは,東京大学の石川正俊教授 |
研究グループによれば,このシステムに顔認識や形状認識の仕組みを組み合わせることで,常に特定の人物やオブジェクトを中央に追尾し続ける撮影システムも実現可能であるという。
ちなみに,サッカードミラーシステムで使用している1000fpsカメラは,自動追尾の制御用で,映像を撮影するためのものではないそうだ。
そこでサッカードミラーシステムには,もう1つ任意の光学機器を装着できる可動式マウントが用意されている。たとえば,マウントにビデオカメラを設置すれば,サッカードミラーシステムが自動追尾した視界を,ビデオカメラで撮影可能になる。あるいは,マウント部分にプロジェクタを設置すると,視界中央に捉えた物体に対して,映像を投影し続けるなんてこともできるという。
プロスポーツの中継を例に考えると,動き回る選手やボールに対して映像――解説用の情報でもCMでもいい――を映し続けるなんてことができるのだ。
大きな可能性を秘めたサッカードミラーシステムだが,今回のSIGGRAPH 2013の展示では,これに「レーザードップラー振動計」を組み合わせて,さらに発展したシステムとなっていた。
レーザードップラー振動計とは,非接触型の振動計である。振動する物体(以下,動体)に光を照射したとき,反射光はその動体の速度に応じた周波数変化を生じる。いわゆるドップラー効果だ。レーザードップラー振動計はレーザー光を使い,ドップラー効果から対象物の振動数を求めるという仕組みになっている。その精度は驚くべきもので,測定可能速度はnm/s(ナノメートル/秒),周波数にすれば数MHzまで。人間の皮膚に光を当てるだけで,脈拍を測定できるというのだから,相当な高精度だ。
先に挙げたスポーツ中継の例で考えてみよう。プロスポーツ選手にセンサーを身に付けてもらうのは,競技の障害になる可能性があるために難しい。だがこのシステムを使えば,プロゴルファーが打つドライバーショットの衝撃や,プロテニスプレイヤーがボールを打つときの衝撃を非接触で記録して,観客がそれを体験することも可能になるわけだ。
現在はとても大きいサッカードミラーシステムだが,小型化も技術的に可能だという。現在は業務用機器への応用や施設への設置を検討しているとのことだが,小型化が実現されれば,「運動会や学芸会で,撮影者はほとんど動かずに,自分の子供だけを撮り続けられるカメラ」なんてものも,実現可能になるかもしれない。
Emerging Technologies|SIGGRAPH 2013
SIGGRAPH 2013 公式Webサイト
- この記事のURL:
キーワード