［SIGGRAPH］既存のVR HMDではできない遠近感の表現を可能とする「可変焦点対応HMD」をNVIDIAブースで体験してみた

SIGGRAPH 2017のE-TECH展示会場

　選ばれた大学や 企業などの研究機関が，実用化や商用化前の先端技術を発表するSIGGRAPH恒例のイベント「Emerging Technologies」（以下，E-TECH）が今年も行われた。そのE-TECH展示会場で，NVIDIAは，VRおよびAR対応ヘッドマウントディスプレイで，より現実的な遠近感を表現できるという「Varifocal Virtuality」（バリフォーカル・バーチャリティ）なる技術の体験デモを公開した。
　Varifocal Virtualityではどんなことを実現しているのか，技術面の説明と合わせてさっそくレポートしたい。

遠近感の表現に劣る現行のVR HMD

　既存のVRヘッドマウントディスプレイ（以下，HMD）には，共通した課題が存在する。それは「映像内で表示しているオブジェクトの遠近感が掴みにくい」というものだ。既存のVR HMDでは，左右それぞれの目に対して，わずかに異なる視点からの映像を表示することで，立体視による遠近感の表現を行っている。

　人間が遠近感を感じ取るときは，以下に挙げる要素を組み合わせているという。

1. 両眼視差：左右の目に映る物体のわずかな差異
2. 輻輳角度：左右の目を物体に向けたときに生じる，眼球の角度の違い。たとえば，近距離を見ようとするときに，瞳が寄り目になる現象が分かりやすい例
3. 焦点距離：人間の目は，眼球内にある水晶体の厚みを変えることで，ピントが合う距離を調節している

　こうした要素が，遠近感の把握に重要な要素であるわけだが，現在のVRシステムでの遠近表現は，1つめの両眼視差に頼った仕組みとなっている。「現在のVRシステムにおける酔いやすさや不自然さは，遠近感に関わる要素を再現できていないことが，原因の一端である」とする研究もあるほどだ。
　この問題を解決する取り組みが，NVIDIAの発表したVarifocal Virtualityというわけである。

　なお，NVIDIAが今回披露したシステムは，基礎技術レベルの展示であり，実際には未解決の課題も多い。そういう事情もあって，本稿ではデモの概要とその説明を中心に話を進めて，未解決の部分については，その後で説明したいと思う。

前後に動く映像に目を合わせると，遠近感を感じる

　NVIDIAが今回取り組んだのは，遠近感の把握に必要な要素のうち，焦点距離の制御に関わる課題だ。具体的には，VR HMDで見せる映像の焦点距離を可変化することで，遠近感を把握しやすくするというものである。

　筆者の体験したデモをもとに説明していこう。デモ用に用意されたのは，手作り感に溢れたシースルータイプのHMDだ。その仕組みは後段で説明するので，ここではデモの話を続けたい。
　デモ用HMDを装着すると，眼前には小人（こびと）が表示されて，前後方向――つまり遠近方向――に移動を繰り返す。このとき単に3D座標のZ方向に移動した映像になるだけでなく，実際にそのときのZ値に従って焦点位置も前後に変化するシステムとなっているのだ。
　前後に動く小人をしっかり見ようとすると，そこに焦点を合わせる必要があるので，体験者は動きに合わせて水晶体の厚みを変えることで，目の焦点を変化させる。これにより両眼視差だけでなく，目の焦点距離も変化するわけだ。一般的なVR HMDよりも，遠近感がリアルであるように感じられるのは，小人の動きに合わせて，目の筋肉（水晶体の厚みを制御する筋肉）を使っている実感もあるからだろう。

デモ用HMD。丸いレンズのような板が前後に動く仕組みで，映像はこの丸い板に投影される。ちなみに，視野角は上下左右60度とのこと

デモ用HMDを右側面（左）および正面（右）から見た状態。丸い板に人物が写っているのが分かるだろうか

　動く小人に目が慣れると，続いて映像上には，前後に移動するシンプルな英文テキストも現れた。そしてデモの説明員は，体験者に対して「英文を目で追うように」と指示する。ここでのポイントは，たとえば英文が手前にあるときは，小人は奥に表示されるといった具合に，互いに正反対の動きをすることだ。
　目の焦点を合わせるのは英文のほうなので，小人はボケて見えるようにレンダリングする。このときに，ボケ具合（ボケ径）を「英文の焦点距離から，小人がどのくらい離れているか」に応じて変化させるのが，このデモにおける要点だ。英文と小人の距離がちょうど同じになる瞬間には，小人のボケ具合は最小になるという具合である。

デモの様子。左奥に見える赤い人形（エルモ）は，デモ用HMDがシースルーであることを示すためと，このエルモに目の焦点を合わせたときに，表示映像がくっきり見える瞬間があることを示すために置いているとのことだった

Varifocal Virtualityシステムのメカニズム

　Varifocal Virtualityシステムの原理は，意外にシンプルである。
　映像を表示しているのは，反射型液晶デバイス（Liquid Crystal on Silicon，LCOS）を使った超小型プロジェクタで，解像度は1280×720ピクセルだ。左右の目それぞれのレンズに映像を投影する必要があるため，左右それぞれに1台ずつ，計2台の超小型プロジェクタを配置している。

デモ用HMDの映像投影部。LCOSベースの超小型プロジェクタを使っている。フレームレートは60fpsとのこと

　プロジェクタが投影した映像は，透過型回折格子による導光板（Diffraction Waveguide）を通してから，大きなレンズのように見える凹面ハーフミラー（Concave Surface Half-Mirror）上に結像させる仕組みだ。Diffraction Waveguideは，超小型プロジェクタからの光を拡大しつつ集光させる役割を果たしているとのこと。おそらくは，Microsoftの「Hololens」も採用している平面型ホログラフィック導光板（Holographic Planar Waveguide）の一種である「Surface Relief Grating」（以下，SRG）を利用しているのではないだろうか。

左側に見える凹面鏡のようなものがハーフミラー。中央に見える透明の板は，固定長の焦点距離を稼ぎつつ，映像を拡大するホログラフィック導光板だ

凹面鏡の上に見える黒い物体がリニアモーター。これでスクリーンであるハーフミラーそのものを前後に動かして，遠近感を表現している

　さて，ホログラフィック導光板を使って焦点距離を伸ばしながら映像を拡大したところで，これだけでは，単に焦点距離を固定長で延長させているに過ぎない。
　そこでVarifocal Virtualityシステムでは，凹面ハーフミラーそのものをリニアモーターで前後に動かす機構を導入したという。光学的な制御ではなく，映像を投影する部分を直接動かすという，ある意味では力業で可変焦点距離を実現しているのだ。

　この仕組みで表現できる遠近感は，数10cmから6mの範囲で，人間が普段の生活で見る範囲はカバーできるという。最大6mと聞いて，ずいぶん短く感じるかもしれないが，人間が遠近を知覚できる範囲は意外といい加減で，個人差はあるものの，約6m以上離れると，光学特性上は遠近をほとんど区別できないためということだった。
　もちろん実際には，人間は6mよりも遠くに離れていることを知覚できる。しかし，それは光学的に知覚しているのではなく，たとえば遠いものほど小さく見えるといった認知（Cognition）によるものなので，これで問題ない，というのが説明員の話だった。

Varifocal Virtualityが解決できなかった課題

　意外に思えるかもしれないが，現状のVarifocal Virtualityは，体験者の目がどこに焦点を合わせているかは，計測していないという。
　E-TECHにおけるデモでは，遠近感を感じさせる処理は英文と小人の距離に合わせているだけで，視線の位置や，目の中にある水晶体の動きに合わせて処理をしているわけではないのだ。

Varifocal Virtualityのデモシステムは，視線追跡機能を備えていない。これには，ちょっと驚いた

　その理由はシンプルで「まだ技術難度が高いから」（説明員氏）とのこと。
　視線がどこにあるかは，一般的な視線追跡（アイトラッキング）技術で計測可能である。しかし，現状の視線追跡技術は，目が焦点を合わせているポイントを上下左右のX座標とY座標で計測しているだけだ。奥行きとなるZ座標，つまり焦点距離は計測できない。つまり，目がどこに焦点を合わせているかを3次元で計測する技術は，難度が高いというわけである。

　ブースにいた研究メンバーの1人は「最初は，一般的な視線追跡技術を使って，両眼の輻輳角を検出する（※それをもとに奥行き方向の視点を推測する）アプローチを試してみたが，うまく行かなかった」と述べていた。両眼の輻輳角は，目の焦点距離を決定する一要素に過ぎないので，それだけでは，奥行き方向の視点を割り出すのは難しいようである。
　「水晶体の厚みを外部のセンサーで検出するのは難しいのか」という筆者の質問に対して，この研究者は「技術的には反射率計（Reflectometer）を使えば可能だろうが，HMDに内蔵するには，まだまだでかすぎるよ」と笑っていた。興味がある人は，反射率計を検索してみるといいだろう。
　いずれにしても，「この研究はまだ始まったばかり」（研究者）だそうで，視線の奥行き方向を検出できない課題も，継続的に研究を重ねて解決したいということだった。

　ちなみに，この研究者によれば，2017年11月27日からタイ・バンコクで行われる「SIGGRAPH Asia 2017」にて，NVIDIAは，別角度からのアプローチによって，HMDでの遠近表現やライトフィールド表現を行う発表とデモを行うそうだ。この発表も楽しみである。

NVIDIAのVarifocal Virtuality関連情報ページ（英語）

Emerging Technologies 公式Webページ（英語）

4GamerのSIGGRAPH 2017レポート記事