［CEDEC 2017］「グランツーリスモSPORT」が実現した「HDR＆広色域のネイティブ対応」とは何か？

ポリフォニーデジタルの内村 創氏

　CEDEC 2016では，ゲームグラフィックスにまつわる色の話を色彩工学の視点から解説したポリフォニーデジタルの内村 創氏が，今年のCEDECでは，HDRをテーマとする講演「HDR 理論と実践」を行った。

　ポリフォニーデジタルといえば，言わずと知れたグランツーリスモシリーズの開発スタジオであり，セッションタイトルに含まれる「実践」というキーワードはもちろん，最新作「グランツーリスモSPORT」の開発における経験談ということになる。
　注目度の高かった，このセッションをレポートしたい。

ゲーム業界がHDR対応を行う意義はある！

　言うまでもないことだが，このセッションのメインキーワードであるHDRは「High Dynamic Range」（ハイダイナミックレンジ）の略称だ。ハイダイナミックレンジという言葉自体は「高いダイナミックレンジを取り扱うこと」を示す抽象的なものだが，本セッションで扱うHDRは「従来のディスプレイ映像信号規格よりも，はるかに高い輝度，そして広い色域までを取り扱う映像形式」のことを指す。

　「4Kテレビ」という製品カテゴリは5年以上前から存在するものの，昨年あたりから家電メーカーが力を入れ始めている新しい世代の4Kテレビは，本セッションで言うところのHDRに対応している。しかも，2016年に登場した「PlayStation 4 Pro」（以下，PS4 Pro）のリリースに合わせて，既存のPlayStation 4（以下，PS4）も一気にHDR対応を果たし，さらにタイミングを合わせるかのように，競合のXbox One SもHDRへ対応してきた。2016年後半以降，PC用ディスプレイでのHDR対応が始まったことを受けてか，Windows 10もCreators UpdateでHDRをサポートするようになったので，「主要な据え置き型ゲームプラットフォームはほぼすべてHDR対応」と述べて差し支えない状況になっている。

　そんなわけで，今日（こんにち）のゲーム開発シーンにおいて，このHDRという要素について検討する機会は明らかに増えてきた。
　そうした業界動向を踏まえつつ，内村氏は自らにあらためて「HDRへの対応はやる価値があるのか」という基本的な質問を投げかけた。

　氏の答えは「ある」。それどころかSDR（Standard Dynamic Range，HDRの対義語で，要は従来型のダイナミックレンジと色域のこと）は「絶滅する」とも付け加えている。スマートフォンまでがHDR対応を加速させている以上，対応は避けて通れない状況にあるということなのだろう。

HDRへの対応をやる価値は「あると思います」と内村氏

　セッションでまず内村氏が解説したのは，現在市販されているHDR対応ディスプレイデバイスの基本情報や用語解説だ。
　氏は，いま出てきたSDRという言葉の定義や，現在のHDR対応ディスプレイデバイスで主にサポートされるHDRフォーマットが「HDR10」であって，色空間にはRec.2020（ITU-R Rec.2020）が採用されていることや，HDR10の規格上，SDR比で100倍も明るい高輝度な映像信号を扱えることといった，HDRの基礎知識をまとめてみせた。さらに，従来のSDR映像信号で採用されてきたsRGB色空間相当（Rec.709）と，HDR10が採用するRec.2020色空間との比較を行って，両者が表現できる色域の違いを図示するといったことも行っている。

SDRとHDRの違い

多くのディスプレイデバイスで採用されてきたsRGB（Rec.709）

最新世代の4KテレビほぼすべてがサポートするHDR10。色空間としてはRec.2020規格を標準採用する

Rec.2020とRec.709の対比。大きな三角形が前者だ。Rec.2020はこれだけ広色域な色空間なのである

グランツーリスモSPORTはもともとHDR非対応だった

　意外なことだが，ポリフォニーデジタルではもともと，SDRベースでグランツーリスモSPORTの開発をスタートさせたのだそうだ。
　なので当然のことながら，当時のアセット（asset，ゲームを構成する素材セット）は広色域対応になっていなかった。

グランツーリスモSPORTはもともとHDR非対応だった。ちなみにスライド中の「Scapes」とは，グランツーリスモSPORTが採用する新しいフォトモードのこと

　開発チームはその後，あるタイミングで，とあるテレビメーカーからの提案と協力を受け，HDRについて実験を行うことになったという。グランツーリスモSPORTのレンダリングエンジンは物理ベースレンダリング（Physically Based Rendering，PBR）を採用しており，またライティングやシェーディングもリニア空間で行っていたことから，輝度面でのHDR対応はそれほど難しくなかったようだ。よって実験は，色はsRGB相当となるRec.709のまま，輝度だけHDR化するというものになった。

開発当初の，SDR版グランツーリスモSPORTにおけるアセット仕様（左）。ここから輝度だけHDRへ対応させる実験を行った（右）

　ただこの「輝度だけHDR」出力結果はポリフォニーデジタルのメンバーを感動させるだけのものがあり，同社はここで，「ネイティブHDR対応」へ，開発方針を大転換することになったという。

実験的にHDR化を行ったところ，これが予想外によかったと内村氏（左）。ただ開発チームは同時に，課題も認識したそうだ（右）

2015年の時点でHDRの実験を行ったときの，貴重なスクリーンショット。下の一部クローズアップが分かりやすいが，「高輝度部が不自然なまでに色味を残したまま，高輝度に光る表現」が散見されたとのことである

グランツーリスモSPORTは，単なるHDRではなく，ネイティブ（≒ゲーム標準での）HDR対応へ向かうことが決まった

グランツーリスモSPORTはネイティブHDRへ

　当初からリニア空間でレンダリングしていた輝度と比べて，HDRにおけるネイティブ広色域対応は相応に難度が高かったそうだ。

　まず，ぶつかったのは「どの色空間でレンダリングすべきか」という問題だ。ここでは，

• sRGBと互換性を持ちながら負領域までを許容して広色域をカバーする「scRGB」
• 米国の映画産業界主導で策定された色空間「ACES」

なども検討したが，ポリフォニーデジタルは結局，HDR10の色空間であり，現実世界に実在する材質が持つ色の99％を再現できる色空間規格として，4Kおよび8K時代を見据えたものとなっているRec.2020の採用を決定した。

ポリフォニーデジタルが，「BT.2020」とも呼ばれるRec.2020を採用した理由

　「Rec.2020色空間」の社内ファーストインプレッションは好感触だったようだ。
　基準とする（＝ネイティブ対応する）色空間を広色域なものにするということは，与えた3原色（RGB）数値の組み合わせに対応する再現色の範囲が拡大するということである。なので，「RGB＝255，0，0」で表されるような，「原色値の一部が上限へ達してしまった結果としての極端な色」はほとんど出なくなり，いきおい，色補正（＝色調変更）を行っても上限値で飽和することがほぼなくなって，色調補正のダイナミックレンジも拡大できたと，内村氏は述べていた。

　なお氏によると，デメリットは，Rec.2020色空間を完全再現できるディスプレイデバイスが存在しないことで，そのため「いま目の前にあるディスプレイデバイスへ映し出されている色が本当にそれで正しいのか」の確認が難しいという。ちなみに現在のところ，市販の4K＆HDR対応テレビは上位機でもRec.2020色空間カバー率は80％後半で，エントリークラスの製品だと70％台に留まるものも普通にある。
　そのためポリフォニーデジタルでは，「出色」の確認にあたって，広色域からRec.709色空間に変換したり，あるいはHDR＆Rec.2020対応テレビとSDR＆Rec.709対応テレビの両方を横に並べて見比べたりしているそうだ。

内村氏が挙げた「Rec.2020色空間を採用することのデメリット」

　最初から広色域なRec.2020色空間で作り込んだ素材はともかく，もともとRec.709色空間が前提だった素材の場合，Rec.2020ベースのグラフィックスエンジンを採用するグランツーリスモSPORTで活用する場合は，当然のことながらRec.2020色空間へ変換しなければならない。

　Rec.2020色空間よりもRec.709色空間のほうが狭いので，Rec.709で表現できる色はRec.2020でも問題なく再現できるはずだ。ただ実際には，Rec.2020ベースのHDR対応レンダリングエンジンでライティングやシェーディングを行った場合，Rec.709範囲内の色でも，それが高輝度になって表示されることもありうる。
　こうした状況下で，開発中，しばしばおかしな見映えになったそうだ。

　たとえばライティングの結果で，Rec.709色空間の外の色になった場合を考えてみよう。
　従来のSDR＆Rec.709対応ディスプレイデバイスで表示させる場合には，「Rec.2020色空間→Rec.709色空間」に戻して表示させる必要があるのだが，そのとき，Rec.709色空間の最外周色で飽和して，ベタっとした色味になってしまう。つまり，グラデーションが出ないわけだ。
　また，ライティングの結果としてRec.709色空間内の色のまま高輝度表現することになった場合，これをHDR＆Rec.2020対応ディスプレイデバイスで表示させると，その色のまま高輝度で輝いてしまうことになる。

Rec.709では左のように見えるシーンも，Rec.2020からRec.709に色空間変換すると右のように色が飽和してしまう

　以上のようなケースでは，当該色を，理想的には白飛びの方向に色味を薄くしてやったほうが自然に見えるが，それを実現するにはトーンマッピング（Tone Mapping）処理の導入が必要になる。

トーンマッピングは，HDR＆Rec.2020用とSDR＆Rec.709用とで別個に必要となる

「明るい部分が白へ飽和していく流れ」が，右のトーンマッピングでは滑らかになる

社内アーティストの希望は「十分にリニアな中間区間」「コントラスト調整の効く黒」「なだらかな肩」の3点。これに応えるべくトーンマップカーブを自社開発することになった

　このトーンマッピングを行うための「トーンマップカーブ」については，どんなものを選択すればよいか，ポリフォニーデジタル内部でいろいろと検討したそうだ。Uncharted（アンチャーテッド）シリーズの開発元として著名なゲームスタジオであるNaughty Dogが開発した「John Hable Filimic」，AMDが開発した「AMD Filmic」，前出したACES系のものなど，さまざまなトーンマップカーブをすべてテストしたという。

　ただ，残念ながらグランツーリスモSPORTとの相性がよいものは最後まで見つからず。最終的に，ポリフォニーデジタル社内アーティストの要望，計3点に応えるものとして独自開発したトーンマップカーブ，社内コードネームでは「Triple Section」，対外的には「GT Tonemap」を採用することになったとのことである。

完成したGT Tonemap。上段左が全体像だ。暗部はコントラスト重視（上段右）で，中明部はリニアな特性となり（下段左），高輝度部は滑らかに飽和させる（下段右）ようになっている

左はHDR＆Rec.2020対応ディスプレイデバイスへ出力するときのパイプライン，右はSDR＆Rec.709対応ディスプレイデバイスへ出力するときのパイプラインだ。後者は色空間変換前にトーンマッピングしているところがミソ

GT Tonemapの使用例（上）。下はトーンマッピングを行わなかった場合の例だ

　RGBそれぞれにトーンマッピングがかかることで，高輝度表現域において色相のねじれが確認され，ポリフォニーでは，これを「トーンマッピングの弊害」と感じて，これの改善に頭を悩ませたのだそうだ。
　ただ，調べていくと，現実世界のカメラでも同じことが起きていると分かり，「フォトリアルを目指すグランツーリスモならば，むしろそのほうがリアルだ」と前向きに捉え，「気にしないことにした」と内村氏は述べていた。

　会場ではこの発言に対して笑いが起きていたが，実際のところ，理に叶った判断だと言える。
　ゲームグラフィックスでは定番の「高輝度域から光が溢れ出して見えるグレアやブルーム」などは，「正確な情景を記録するための写真や映像」を撮影する観点からすれば，本来は排除すべき要素だ。しかし，いまや「カメラで撮影したっぽい映像」を作り出すために，こうした光学現象はあえて付加するような時代である。だとすれば，カメラにおいて「高輝度領域で色相がずれる」なら，その現象は「フォトリアルを目指す」ときに存在していてもいいはずだ。

本来出るべきではない色味のハイライトがグランツーリスモSPORT上で出ている例。たとえば左の車では紫よりの色，右の車では橙よりの色がそれだ

こちらは現実世界をカメラで撮影した例。赤色をした三角コーンの内部，光っている部分が橙へ寄った色になっている

グランツーリスモSPORTにおける広色域素材制作

　内村氏はまた，グランツーリスモSPORTをHDR＆Rec.2020ベースで開発するうえで，素材をどのように制作してきたかについても語っている。
　「高輝度表現を含む」という意味でのHDR対応のゲームグラフィックスは最近増えてきていて，それほど物珍くもなってきているが，広色域前提でのゲームグラフィックス制作は，世界的に見てもポリフォニーデジタルが初か，初でなくともそれに準じた，現時点では希少な試みである。それ故に注目度の高いパートであった。

　さて，まず車両の材質特性計測は，フルスペクトル測色機で行っているとのことだ。端的に言えば「計測器で色を計測した」ということである。
　「色の計測」と言っても，ただ「何色か」をスカラ値で計測したのではなく，「計測対象位置に対して光がどう入射するとどんな色を返すか」のデータを複数取得して，ここからBRDF（Bidirectional Reflectance Distribution Function）を生成したと内村氏は述べていた。

測定したBRDFのサンプル（左）。右は取得したBRDFを用いて行ったレンダリングのサンプルである

　車両以外のアセットやScapes用となる写真ベースの素材データは，一眼デジタルカメラのRAW撮影で取得しているそうだ。ブラケット撮影で3EVの7枚から2EVの12枚くらいで複数枚撮影し，それを独自開発したツールでHDR素材写真として合成しているとのことだった。

写真ベースのアセット制作は，一眼デジタルカメラのRAW撮影ベースとなる（左）。右はEV（Exposure Value，露出）値を変えて撮影した複数枚のRAWデータを使ってHDR素材を合成する仕組みの概念図

スライド内の太線が，一眼デジタルカメラにおけるRAW撮影写真の色空間。端的に述べて広い

　最新の一眼デジタルカメラを用いたRAW撮影だと，独自の色空間で撮影されてしまうが，それでも，Rec.709とは比べものにならないくらいに広色域での撮影に対応している。つまり，写真ベースの素材作成であれば，特別な機械を導入せずとも，市販のデジタル一眼カメラで十分こなせるということである。
　内村氏いわく，「やっかいなのは，機種ごとやイメージセンサー（＝撮像素子）ごとに独自の色空間を持っているため，補正して正規化してやる必要があること」。ただ対策としては，既知のカラーパッチが並んだカラーチャートを高演色光源環境下で撮影し，撮影結果とカラーパッチのデータとの間に生じるズレ具合をデータとして使うというものが確立できている。

左は色補正の様子。このあたりはCEDEC 2016における内村氏のセッションのほうが詳しいようだ

　PS4の実機側，ランタイム上のデータとしては，Microsoftが採用したHDR対応のJPEGである「JPEG XR」形式を採用。ただし，グランツーリスモSPORT向けに独自拡張を施してあり，色空間はJPEG XRにはないRec.2020を採用し，さらにピクセルフォーマットは半精度浮動小数点（FP16）や共通指数項を組み合わせた整数（RGBE）フォーマットを採用してあるという。

「実機側ではどのようなデータを取り扱っているか」についてのスライド。これは実践的な情報だ

　サーキットなどのコースデータは，過去作からのキャリーオーバーもあるが，そうした過去の資産系アセットは当然，Rec.709ベースとなる。そうしたデータはRec.2020に変換してから用いているそうだ。

過去の資産系アセットはRec.709からRec.2020に変換したうえで流用

内村氏が語る「ゲームにおけるHDR＆広色域の展望」

　セッションの最後に，内村氏は今後の展望などを語った。
　現在，ポリフォニーデジタル社内ではHDR＆広色域対応ディスプレイデバイスを共有機材的に扱っているそうだが，氏はまずこの状況を改善し，多くのアーティストが使いやすい形で導入していきたいとしていた。

　ただ，「高品位かつ，ちょうどいい大きさのHDR＆広色域対応ディスプレイデバイスが少ない」とも，氏は嘆く。HDRおよび広色域対応のテレビは，選択肢が増えて買いやすくなってきているが，いかんせん，視距離の短いディスプレイ的な活用にはやや大きすぎる。ディスプレイメーカーのさらなる対応に期待したいところだ。

HDR＆広色域環境を社内アーティスト全員の机に置くことができるのはいつの日か？

　ちなみに内村氏は，4KのHDR＆広色域対応テレビはほとんどが，過度の色演出をあまり行っておらず，比較的規格どおりの，マスターモニター的な表示を行ってくれていることを指摘していた。氏はこれを「よい動向」と評価しており，「できればこのままであってほしい」と漏らす。
　「もしくは，ゲーム映像をどんどんHDR＆広色域対応にしてしまい，テレビ側の意図的な色補正が行われるとむしろ『変に見える』とユーザーに言わせてしまうくらい，ゲーム業界でHDR＆広色域対応のゲームグラフィックスを増やしていきたい」とも述べていた。

HDR＆広色域対応テレビにおける現在の画質傾向に，内村氏は好感を抱いていた

4GamerのCEDEC 2017記事一覧

ポリフォニーデジタル公式Webサイト

CEDEC 2017公式サイト