![印刷](/image/icon_print.gif)
イベント
写真から3Dオブジェクトを作り,カメラアングルを変えつつ撮影できる。話題のNeRF技術と活用が語られたセッションをレポート[CEDEC 2024]
![]() |
●登壇者
・小林優斗氏(ソニー 技術開発研究所 コンテンツ技術開発部門 知的映像技術開発部)
・遠藤和真氏(ソニーPCL ビジュアルソリューション部門 コンテンツクリエイション部 コンテンツプロデュース課 統括マネジャー)
![]() |
写真から3Dオブジェクトを作り,カメラアングルを変えつつ撮影もできる
本講演のテーマとなるNeRFとは,Neural Radiance Fields(ニューラル放射輝度場)の略。2020年にカリフォルニア大学とGoogle Researchの技術者が発表した技術で,複数の視点から撮影した2D画像から3D空間を再現し,自由な視点から見た画像を生成する。ざっくり表現すれば,写真で撮った物体を3Dで再現し,自由に視点を変えられるといったところだろうか。
同様の技術では「フォトグラメトリ」が知られているが,NeRFは空間を色と存在確率というボリュームの集合体と捉える。そのため,ほかの技術で再現が難しい植物の葉や茎といった細い物体,金属や窓ガラスの反射,半透明な物体の再現を得意とし,必要となる写真の枚数もフォトグラメトリよりも少なく済む。
その一方,計算に要する時間がどうしても長くなり,新しめの技術ゆえに既存ツールの対応も進んでいない。また,修正や加工が難しく,ボケや浮遊物といった劣化が発生しやすいといった弱点も存在しているものの,日進月歩で研究が進んでいるのが現状であるという。
ソニーは,映像コンテンツを作るソニーPCLと共に開発を進めており,誰でも高品質の素材が作れるシステムや,Unreal Engineと連携できるプラグイン,特定の物体を消したり,昼に撮影した3D空間を夜に変えたりする編集技術といった成果が得られているそうだ。
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
講演では,こうした技術で作られた3D空間を撮影時の背景として用いた実例も紹介された。この手法は「バーチャルプロダクション」と呼ばれている。
大型LEDディスプレイに背景映像を映し出し,その前で演者が演技するというもので,従来のクロマキー合成よりも自然な映像を得られ,編集の手間が少なくなるといったメリットがあるという。一枚絵としての背景を用いる「Screen Process」と,カメラの向きに応じて3Dの背景が自動的に変化する「In-Camera VFX」の2種類の手法が存在するが,講演では後者について語られている。
![]() |
![]() |
「リテイク」は有人月面着陸を成し遂げたものの,記録用カメラの録画ボタンを押し忘れた男を主人公とした物語だ。主人公が宇宙船から月へ向けて飛び出すシーンは,バーチャルプロダクションを用いてワンカットで表現されている。
背景となる宇宙船や宇宙空間はUnreal Engineでリアルタイムレンダリングが行われた3DCGであり,まったく問題のないクオリティが得られたという。YouTubeではメイキング映像も公開されているので,バーチャルプロダクションの現場と完成した映像を確認可能だ。
![]() |
![]() |
![]() |
「帰り道」はNeRFをバーチャルプロダクションの現場で使う検証デモ。小学生2人が住宅街や商店街など,複数のロケーションからなる帰り道を辿っていき,その際の心情変化が描写される短編映像だ。
国内の映像制作では一般的な納期を想定したうえで,フォトグラメトリで高クオリティの背景を作り込む代わりにNeRFを使えるかどうかの検証が行われている。
![]() |
![]() |
![]() |
![]() |
映像制作の現場においては,さまざまな制限が課せられる。フォトグラメトリに使うためのスキャンが許されないケースもあるし,現地でロケをするにも演者の拘束時間が限られ,できるだけ短時間で済ませなければならないなんてことも起こり得る。
そうした中でもNeRFを使えば,制作を効率化できたという。
「帰り道」の場合,現地でのNeRFデータ用撮影が2日,演者をバーチャルプロダクションに迎えた実際の収録は1日で済ませられた。
また,背景を撮影するにしても1か所あたり10分ほどで済み,フォトグラメトリなら2000枚ほど必要なところが,NeRFは50〜100枚程度でOKだというから違いはかなり大きい。
NeRFは撮影自体もフォトグラメトリより簡単なため,レギュレーションを定めておけば,撮影を終えてロケ地から撤収した後であっても地元のスタッフに頼んで追加のデータを撮ってもらうことも可能だという。
![]() |
![]() |
![]() |
LEDスクリーンに静止画や動画を表示する手法でも映像を撮ることはできるものの,カメラワークを変えたり,複数のアングルで撮影したりすると難しいものがある。また,現実のロケーションを3DCG化するにしても工数がかかってしまう。
しかし,NeRFはほかの手法と比べて手間が少なく,カメラの動きに応じて背景の3DCGのアングルも変化してくれるため,「帰り道」のようなドラマ的な映像にも向いているそうだ。
今回はNeRF技術の概要と,映像制作の現場における事例についての講演だったが,ゲームなどの応用にも議論を進めていきたいと小林氏は語る。実物をスキャンして3DCG化する取り組みとしては,自分のガンプラでバトルを楽しめる「ガンプラスキャン」といった例もあり,ゲーム開発の現場にもNeRFのニーズが存在しているはずだ。
![]() |
4Gamer「CEDEC 2024」記事一覧
- この記事のURL: