［GDC 2016］Nxはサウンドのバーチャルリアリティシステムなのか？ 実際に体験してきた

　イスラエルのオーディオ関連製品メーカーであるWaves Audio（以下，Waves）が開発した，ヘッドフォン/ヘッドセット向けのオーディオプロセッシング技術「Nx」。そのデモが，Game Developers Conference 2016（以下，GDC 2016）の会場近くにあるホテルのプライベートスイートで披露された。
　実際にデモを体験してきたので，レポートしたいと思う。

音像を現実世界の3D空間側に定位させるNx

　Wavesは，音楽制作現場や音響効果制作現場向けのオーディオプロセッサやハードウェアを開発・販売しているメーカーで，どちらかといえばソフトウェア技術に定評がある。そんなWavesは，先に，スタジオの音響空間をヘッドフォンで再現する技術としてNxを投入済みなのだが，昨今のVR（Virtual Reality，仮想現実）ブームに乗って，ゲーム業界へも打ち出してきたというのが，GDC 2016のタイミングにおけるステータスだ。

　Nxがどんなものであるかは，2016年3月15日の記事でお伝えしているが，一言でまとめれば「ヘッドフォン向けのリアルタイム音像定位技術」になる。
　ヘッドフォンでサウンドを聴くと，その音像は，多くの場合，頭部の内部かあるいは頭部周辺に定位する。仮にバンドが横幅数mに広がって演奏した楽曲を2つのマイクでステレオ録音したとしても，そのサウンドをヘッドフォンで聞けば，音は頭部の内部かあるいは頭部周辺に定位するのである。
　さらに，その状態で頭部を上下左右に向けたとしても，ヘッドフォンが耳に張り付いている以上はその音像の定位もくっついてきてしまう。当たり前だ。

　Nxはこの課題に取り組んだ技術で，ヘッドフォンで聴いているにもかかわらず，音像を現実世界の3D空間側に定位させるようなことを実現することができる。
　デモを披露してくれたWavesのIdan Egozy（イダン・エゴジー）氏によれば，技術の詳細こそ「非公開」ながら，基本的にはHRTF（頭部伝達関数）技術に基づく，リアルタイムのバイノーラルサウンド生成だとのことだ。VR対応ヘッドマウントディスプレイの場合，サウンド出力デバイスとしてはヘッドフォンを組み合わせることが多いが，そのとき，頭部の向きや角度に合わせた定位の再計算こそ行われるものの，リアルタイムのバイノーラルシミュレーションまでを行っているものはほとんどない。そこでNxをどうぞという訴求なのである。

VRで体験。左右の定位感だけでなく，遠近表現まで超リアル

飛び回る騒音ボールのデモをまず見せてくれたEgozy氏

　プライベートブースで体験できたデモは3つ。1つは，HTC製のVRシステム「Vive」を使ったVRデモだ。
　デモの内容はシンプルで，「凹凸に富んだ室内で音を鳴らしながら飛び回るボール」をラケットで打ち返すというもの。打ち返さず，飛び回る騒音ボールをそのままにしてもいいのだが，ボールの軌道を変える目的でラケットを使うことができる。

　実際に，デモをNx有効/無効を交互に切り換えながら体験してみたが，Nx有効時は，騒音ボールが遠くにあるとき，驚くほど頭から離れて聞こえることに感動する。
　一般的なサラウンドサウンド技術において，音の遠近は音量の強弱で表現されることが多いのだが，NX有効時だと，ボールが数m先にあるとき，本当に数m先で音が鳴っているように聞こえる。さらに，そこからこちらに向かって近づいてくるときの音の距離感が，Vive上で見えるボールの距離感と一致しているのだ。

既存ゲームの5.1chサラウンドもNxで体験

Battlefield 4の体験イメージ。ここでもモデルはEgozy氏だ

　2つめのデモは従来型の3DゲームをNxで体験するものだ。ゲームはPC版「Battlefield 4」で，ゲーム自体のサウンドは5.1chとなっている。
　一般的なバーチャル5.1chサラウンドサウンド出力技術では，ヘッドフォンもしくはヘッドセットを装着した人の頭の真正面側にセンタースピーカーがあるような基準で，5.1ch分のスピーカーを仮想空間内に配置する。そのため，首をどの方向に向けても，仮想的な5.1chスピーカーセットはセンタースピーカーが正面にある状態で付いてきてしまう。

　ところがNxではまるで，その部屋に5.1ch対応の“リアルな”スピーカーセットが床置きしてあるかのような鳴り方をするのだ。つまり，ゲーム画面の中央にセンタースピーカーが置いてある場合なら，画面に対してユーザーが左に向いたときには，センタースピーカーの音は右から聞こえてくるわけである。

Battlefield 4のデモでは，顔の向きをWebカメラで検出していた

まるで5.1chスピーカーセットが部屋に置いてあるかのようだ。左右に顔を向けても，音はヘッドフォンに追従せず，部屋に床置きされているように鳴る

　そして言うまでもなく，遠近の表現はVRデモと同じく，正確。今回はリアルな5.1chスピーカーセットとも比較したのだが，敵の足音，戦闘車両の来襲などの遠近感は，リアルなスピーカーセットで再生したときより分かりやすい場合もあったほどだ。
　正面1画面だけのプレイ環境だと，「横を見る」という行為にそれほどの意味はないが，この遠近感だけでもアリだろう。また，ディスプレイを横に3画面並べてあるとか，最近流行の湾曲パネル採用ディスプレイを用いているといった環境では，それこそ横を向いたときの音の出方にも意味が出てくるかもしれない。

スマホの2chステレオコンテンツをNxで体験

　3つめは，スマートフォン上の映像や音楽のコンテンツをNxで楽しむデモだ。音源自体は2chステレオだが，2基のスピーカーがそれぞれ，自分から3〜4m離れて置いてあるかのような体験が楽しめる。

スマホ内の2chステレオサウンドコンテンツをNxで楽しむデモ。最もシンプルなだけに，効果も分かりやすかった

　筆者は，ギターとパーカッションが勇ましげなラテン系の音楽を聞いたのだが，左前方でギタリストがギターを奏で，中央あたりにいるパーカッショニストがコンガを叩きまくっていて，ヘッドフォンを付けた頭部を左右に動かしても，ギタリストとパーカッショニストが部屋の定位置からずれないことに驚かされた。スマホ上の楽曲を聴いているのに，楽団が部屋に広がって演奏しているみたいな感じなのだ。
　「ワイド感のあるステレオサウンド」というのは，しばしば耳にする表現だが，その音像達が，自分の首を動かしても部屋の定位置からずれないという体験は，ちょっと気味が悪いと感じたほど（笑）。こちらがどんなに動き回っても，まるで“幽霊奏者”がそこで演奏しているみたいに動かないのである。

　なお，このデモでは，Wavesが開発したBluetooth接続のヘッドトラッキング用デバイスをヘッドフォンに取り付け，これで頭の向きを追っていた。「Nx Head Tracker for Headphones」と名付けられたこのデバイス自体にサウンド処理機能などは搭載されておらず，純粋にヘッドトラッキング装置の役割しか果たしていない。音響処理そのものはスマホ内蔵のCPUだけでやっていると，Egozy氏は話していた。察するに，Nxの音響処理自体は，スマホのCPUコアレベルでも処理できるレベルということなのだろう。

スマホを使ってのデモは，ヘッドトラッキング機能を実現するためのデバイスを，市販のヘッドフォンに取り付けて行った

　このヘッドトラッキングデバイスそのものを単体販売するかどうかは未定だそうで，実際には，このヘッドトラッキング装置と同等の機能を内蔵したBluetoothヘッドフォンを製品化する方が自然な気はする。粗悪なヘッドフォンと組み合わせると，リアルタイムのバイノーラルサウンド生成部分の品質にも影響が出そうなので，そのあたりも監修したトータルソリューションのヘッドフォンのほうが，製品化したときの価値を担保できそうだ。

　いずれにせよ，どのデモも分かりやすく，いうなれば「音のVR体験」を実現できていた。とにかく，部屋に音像が定位してしまう体験は新鮮だ。サウンドコンテンツの楽しみ方を変えてしまうくらいの魅力がある。

Waves公式Webサイト

Wavesのプロ用Nx公式ページ