［GDC 2014］手指や顔認識は新型Kinect並み!? Intelが注力する「RealSense Technology」はここまで進化した

2014年1月に発表されたRealSense 3D cameraのカメラモジュール

Barry Solomon氏（Perceptual Computing，Intel）

　2014年1月に開催された「2014 International CES」に合わせて，IntelはノートPCに内蔵可能な3Dカメラモジュール「RealSense 3D camera」と，同カメラを活用するハードウェアとソフトウェアの総称である「Intel RealSense Technology」（以下，RealSense）を発表した（関連記事）。

　そのRealSenseの活用法を解説するセッション「Learn to Create Next-Generation Gaming Interface Using Common Sense and Intel RealSense Technology」が，Game Developers Conference 2014（以下，GDC 2014）3日めの2014年3月19日に開かれた。
　セッションを担当したのは，Intelで知覚的コンピューティング（Perceptual Computing）の研究開発を行うエンジニアのBarry Solomon氏。RealSenseの実力が垣間見えたセッションの概要をレポートしよう。

新型3DカメラとRealSense SDKで認識機能が大幅強化

　Intelは以前から，カメラを使った3Dセンサー技術により，ジェスチャーでPCを操作できるユーザーインタフェース（以下，UI）を研究していた。そうしたUIを搭載するシステムのことを，Intelは「Using Common Sense」と称している。
　RealSenseは，Common Senseを実現する技術の1つだ。カメラモジュールのRealSense 3D cameraは，すでに機器メーカーに対して出荷を開始しており，「2014年中に1万以上のデバイスに組み込まれる予定」（Solomon氏）とのこと。主な搭載製品は，ノートPCやUltrabook，All-in-One PCになるようだ。

　一方，ソフトウェア開発者向けには，「Intel Perceptual Computing SDK」という開発キットが配布されている。このSDKは近日中に内容を改めて，「Intel RealSense SDK」（以下，RealSense SDK）にアップデートされる予定だ。さまざまな新機能が追加されるほか，Unityのサポートも予定されているという。

2013〜2014年の，RealSenseに関する変化を示したスライド。RealSense 3D cameraが出荷されたほか，SDKでは新機能の導入や開発者向けリソースの一元化，Unity対応などが予定されている

　Solomon氏のセッションでメインとなったトピックが，RealSense SDKで追加予定の機能である。下に掲載したスライドは，RealSense SDKの機能を示したもので，右側に列挙されているのが，その新機能だ。

RealSense SDKの主な機能。右の黄色い枠内に列挙されているのが，新たに追加される機能だ

　それでは，期待の新機能について見ていこう。まずSolomon氏が披露したのは，手や指の認識だ。「2013年版では，片手の7ポイントしか認識できなかったが，2014年版では両手それぞれ22点とスカル（骨）の認識が可能だ」とSolomon氏は語る。
　デモの様子をムービーで掲載しておいたので，ぜひ見てほしい。指と関節，骨の動きをリアルタイムかつ高精度で認識していることが分かるはずだ。Xbox Oneに付属する新型「Kinect」は，手指の細かい動きも認識できることがウリの1つだが，RealSenseもその点では負けていないようだ。

2013年版と2014年版では認識精度に大幅な違いがあり，指や関節，骨の動きまで認識できるようになった

　顔認識も大幅に強化される。2013年版は，かろうじて顔を認識できる程度だったとのことだが，2014年版は「顔の向きやランドマーク（目印）の認識が可能になる」（Solomon氏）。目鼻や口の認識を応用して，表情を認識することまで可能になっているそうだ。こちらもデモを撮影したムービーで確認してほしい。顔の要所や顔の向きを，ほとんどリアルタイムに検出できていることが分かる。

2014年版では顔の向き，顔のランドマークの検出といった高度な認識が可能になる

　インパクトがある新機能として，Solomon氏は「3Dキャプチャ」の機能を紹介した。3Dカメラを使い，物体の形状をデジタルデータとして取り込む機能のことだ。Solomon氏は「これまで大金をかけていたCGキャラクターのモデリングが，この機能を使って手軽にできるようになるのではないか。開発者にとっても非常にインパクトのある機能だ」とアピールしていた。

3Dキャプチャの機能は，ゲーム制作にも役立てられるのではないかとSolomon氏

　また，2014年版では，SDKが処理済みのデータだけでなく，物体の奥行きに関する生データに，アプリケーションがアクセスできるようになる。使い方次第ではあろうが，「アプリケーション側でさらなる応用が可能になるだろう」とSolomon氏は述べていた。

物体の奥行きに関する生データに，アプリケーションがアクセス可能となる

Unityプラグインの提供で，ゲームでの利用が加速する？

　大きな機能拡張を実現したRealSenseだが，ゲーマーにとって重要なのは，RealSenseでどんなゲームが実現できるかだ。

　ゲームにとって大きなインパクトになりそうなのは，冒頭でも触れたUnityのサポートだろう。RealSense SDKにはUnityの「Productivity Extension」（拡張機能）が付属しているとのことで，RealSenseの機能を，Unityで開発するゲームへ簡単に導入できるようになる。
　Unityで作成された，RealSenseを使用したゲームのデモをムービーで掲載しておこう。画面の左から右へ移動するキャラクターを，RealSense 3D cameraで取り込んだ手を使って運ぶという単純なゲームだが，これだけの機能が複雑なプログラミングなしでも使えるとなれば，RealSenseを使ってみたいというゲーム開発者も増えてくるのではないだろうか。

UnityからRealSenseの機能を利用するためのProductivity Extensionが，RealSense SDKで提供される

　そのほかにRealSense SDKでは，「Unity Web Socket」もサポートされるようになる。これはWebアプリケーションを開発するときに，ネットワークソケット経由でRealSenseにアクセスできるようにする仕組みだ。これを利用すれば，JavaScriptやHTML5といったWebプログラミング言語でも，RealSenseを利用できるわけで，ゲームに限らずさまざまな用途でRealSenseの利用を広げられそうだ。

　RealSenseはIntelが2012年頃から進めているプロジェクトだが，当初は機能的にも貧弱で，「興味深くはあるが，実際にアプリケーションを作るとなると，これでは難しいだろうな」と感じたものだ。
　だが，RealSense 3D cameraとRealSense SDKの組み合わせは，デモを見た限りでは手や顔などを高精度で認識できており，「これならすごいことができるかもしれないな」と，認識を新たにした。これならゲーム開発者にも受けいれられるのではないだろうか。

Intel RealSense Technology 公式Webページ（英語）

Intel＠GDC 2014（英語）