［CEDEC 2023］サウンドチームがコントローラの振動要素を制作するメリットとは？　音と振動の関係を知ることで，振動を活用した新たなゲーム体験を生み出せる

　CEDEC 2023の最終日（2023年8月25日），「振動のフォーリー録音！？ サウンド技術で振動攻略 〜音と振動はだいたい同じ〜」というセッションが行われた。

　Nitendo SwitchのJoy-Conの特徴であるHD振動，PS5のDualSenseが特徴とするハプティックフィードバックなど，現行のゲーム機のコントローラには，技術進化によってさまざまな振動の表現が可能となっている。
　その振動の表現について，ゲーム開発の現場では「サウンド部で振動やってよ」ということがよくあると話すのが，同セッションの講演者であるスクウェア・エニックス サウンド部のサウンドプログラマである山本雄飛氏。なお，山本氏によると「サウンド部には（振動制作を）担当するメリットがある」という。


　なぜ，どこにメリットがあるのか？　サウンド技術が振動に応用できる理由と実例，他部署との分担作業のポイント，課題といったさまざまな内容が語られたセッションのレポートをお届けしよう。

※なお，本セッションでは従来のゲームの振動を「旧振動」，Joy-ConやDualSenseなどの振動を「次世代振動」という言葉で説明されていたので，本稿もそれに従った表記を使用する


　最初に旧振動と次世代振動の違いを，“音”を例に説明された。
　旧振動は昔の家電のブザーのような，音が鳴るか鳴らないかという音量であり，次世代振動は自由自在な音を鳴らせるスピーカーのようなものと話す山本氏。スピーカーが音を鳴らす仕組み，つまり音と振動の関係性を知る人であれば，振動を「サウンド部に任せよう」と考えるのは自然な流れではある。



　続いて，振動の仕組みについて。旧振動は，回転するモーターに重心が偏った重りを付け，それを振り回すことで振動するものだと説明する。振動の具合を変える方法は回転の速さのみで，質感の再現は難しい。
　一方，次世代振動は，箱のなかにセットされたバネと磁石で動く重りによって周波数と振幅を別々にコントロールでき，さまざまな振動を表現できるものだという。つまり旧振動と次世代振動は完全に別モノであり，次世代振動を取り扱うには新たなアセットと専門的な知識が必要になるわけだ。


　音と振動の共通点としては，“どちらも揺れの一種”であることが挙げられる（これは広義の振動にあたるが，本セッションでは分かりやすく「揺れ」として説明された）。同じ「揺れ」である音と振動だが，音は耳で感知する「空気の揺れ」で，振動は皮膚で感知する「個体の揺れ」であるように，揺れているものとその感じ方，感じ取れる周波数帯は異なる（音は20Hz〜20kHz，振動は10Hz〜1kHz）。


　音と振動が似たようなものであることを，シンバルを例に説明された。
　音を鳴らすためシンバルを叩くと，シンバルが振動し，その振動が空気に伝わる。それが耳に伝わり，空気の揺れで鼓膜を振動させ，その振動を神経が感じ取り，音として聴く。また，骨伝導のように空気を介さない音の伝え方もあり，それだけ音と振動は近しいものであり，そして次世代振動の再生装置の仕組みもそれと同じであると話す。


　音を鳴らすスピーカーと揺れを生む振動装置の違いも説明された。
　スピーカーと振動装置の違いはとてもシンプルで，電流が流れて振動するコイルに何を付けるかだ。空気を揺らす板をつければ音を届けるスピーカーとなり，物質的な反動を発生させる重りをつければそれは振動装置になる。基本的にはその違いしかない。音も振動も「揺れ」の一種なので再生の仕組みが同じ，つまりデータも同じになるのだ。


　ここで，最初の「なぜ『サウンド部で振動やってよ』」という話になるのか，そして「サウンド部には担当するメリットがある」ことの解説に入った。


　1つが音を作る技術（テクノロジー）の応用が利く点だ。主にエフェクトに関する部分で，揺れの性質を使っているスペクトログラム，フィルタ，ピッチシフターなどは，周波数の成分によって変わる触感の表現，低い周波数帯にある振動を音の調整や補足といった形で活用できるという。なお，ラウドネス，アンビソニックス，バイノーラルといった聴覚特性にかかわるエフェクトは応用が利かない。

　もう1つが，これは波形編集のスキルやオーディオミドルウェアの知識の応用。サウンド制作に従事している開発者は，DAWやシンセを使って同じ「揺れ」のデータを取り扱っているぶん，高クオリティな振動を作る技術を元より持ち合わせているという話だ。


　このように，サウンド部は振動の制作に適した部署ではあるが，とは言えすべてを任されるのは負担が大きい。振動制作の作業割合が大きくなれば，メインの担当であるサウンドを作り込む時間が減ってしまう。
　また，DualSenseのハプティックフィードバックとアダプティブトリガーのような音と振動＋重さとの連動があるものの場合，それに関する力覚の要素はサウンドとは異なる技術になるため，すべてを引き受けるのは難しい。そうなると，他部署との分担という考えが重要になる。


　これについて，山本氏は「UX（User Experience。ユーザー体験）への影響で分担する」という持論を挙げた。
　ゲームをプレイしていると，操作が忙しい局面では振動に意識を割けないが，慎重に何かを動かす場面，振動がヒントとして活用されているシーンなどは，集中しているぶん細かい振動の違いを感じやすい。振動がキモとなるところはサウンド部が，それ以外（ゲームエンジンの機能などで対処できる部分）は他部署にといったように，振動の感じ方の度合いで分担をするというアイデアである。


　もう1つ，作業に必要なスキルで分けるという案も述べられた。素材作成やオーサリング，UXの影響が大きいところはサウンド部，汎用素材の組み合わせでできる部分，UXの影響が小さいところは他部署が受け持つというもので，これは実際に現場レベルで試されているものとのことだ。


　ここで実際に，サウンド技術で振動制作の“攻略”を目指したさまざまなツール制作の事例が紹介された。
　VSTプラグインを使ったDAWでの振動プレビュー，振動波形を解析して旧振動のパラメータを生成する仕組みなど，さまざまな実験があるなか，印象深かったものが「振動フォーリーシステム」だ。


　これは，アナログの電気信号をPCに取り込むオーディオIFの仕組みを使ったシステムで，何かの動作をするときに振動する箇所（のこぎりを木で切る場合，のこぎりの柄の部分）に加速度センサをつけてデータを録り，WAVファイルとして保存。その振動をDualSenseで再現するというものだ。


　良好な結果を出したものの，動物の毛並みのように（そもそも振動しない）やわらかいモノの振動表現は難しかった。一方，同じくやわらかいモノでも，バランスボールなどの弾力あるものは，リバーブを活用することで解決の望みが見いだせたという。


　サウンド技術を応用した振動制作の課題として，コントローラの特性に合わせた補正が挙げられた。例えばSwitchのJoy-ConとPS5のDualSenseを見ると，それぞれで得意な振動の周波数帯域が異なるため，同じ波形をそのまま出してもそれぞれにとってのリアルな振動の表現にはならない。マルチプラットフォームでゲームを展開するうえで，これはよく考えるべき重要な要素となるようだ。


　最後に，山本氏は「次世代振動はまだ未開拓の分野。新しくて面白いものを作る取り組みを進めてみてほしい」と聴講者に語り，セッションを締めた。

4Gamerの「CEDEC 2023」記事一覧