つぶやく
2019/09/27 19:24イベント
［Unite 2019］VR/ARによる最先端医療が紹介されたセッション「手術革命がUnityから始まっている〜VR活用事例と開発」聴講レポート
2019年9月25日〜26日，ゲームエンジン「Unity」の開発者向けイベント「Unite Tokyo 2019」が東京都内で開催された。本稿では，琉球大学医学部脳神経外科 医師・助教の宮城智央氏によるセッション「手術革命がUnityから始まっている〜VR活用事例と開発」の模様をレポートする。
宮城氏は現在，琉球大学医学部脳神経外科での日々の手術や医学生の指導などに，Unityで開発し，OculusのVR対応HMDを用いる脳神経外科手術VRシミュレータを使用しているという。
また，3D画像やVR/ARを使った手術シミュレーション，ARによる手術ナビゲーションなどを年間約100人の患者の手術に活用しており，それらの手術支援に関する論文発表や国内外での学会発表も行っている。
手術にとって3Dシミュレーションは非常に重要だ。医療で使用する画像は通常2Dであるため，例えば脳腫瘍の手術で頭部のどの部分の骨を開けるか，脳表のどこから進入し腫瘍を摘出するかを認識しにくい。
しかし，手術に先駆けて3Dシミュレーションを行えれば，実際の執刀時に開頭部位と腫瘍への進入部位が直感的に判別でき，手術の戦略が明確になるという。
そうした理由から現在，医療分野におけるVR/ARの利用が進んでいる。宮城氏によると，それは2012年に開発されたシミュレータ，「NeuroTouch: a physics-based virtual simulator for cranial microneurosurgery training」に始まり，世界各地の医療機関にVRを使ったシミュレーションセンターが設置されてきたそうだ。
医療用のVR/ARシミュレータに，Unityが用いられるケースも増えているという。日本ではUnityとMicrosoftのHoloLensを用いた医療用VRサービス「HoloEyes」がすでに提供されているし，病変がどこにあるかを実際に患者の身体にAR画像で投影する「Augmented reality for interventional oncology: proof-of-concept study of a novel high-end guidance system platform」にもUnityが用いられているという。
琉球大学の手術シミュレーションは，3DCGを使ったものに始まり，3Dプリンターによる模型を使ったものから，3D触覚デバイスと専用アプリを使ったものへと変遷していったが，宮城氏によれば，いずれも費用面などがネックになっていたという。
そこで2016年，宮城氏はUnityとOculus Rift，そしてモーションコントローラのLeap Motionを用いた手術シミュレータのプロトタイプ開発に着手した。さらに2017年には，手と指の動作が不安定であることや敏速な細かい作業が難しいといった短所を克服すべく，コントローラにOculus Touchを採用したプロトタイプを開発した。
なお，この手術シミュレータで使う患者のデータの作成時間は，CTスキャンやMRI検査のデータを3Dモデル化するのに5分から1時間，さらにVR化するのに10〜20分と，かなり短いそうだ。
手術シミュレータの開発にあたり，宮城氏がもっとも苦労したのはプログラミングだったそうで，関連する論文を読みあさったとのこと。会場では「よいコードではないのですが，恥を忍んで実例を示します」という宮城氏の前置きに続いて，手術シミュレータのコードの一部が披露された。
宮城氏の開発した手術シミュレータの特徴は，骨や脳腫瘍を自由に削れること，削る物体の硬さに応じた振動によるフィードバックがあること，腫瘍の摘出度が自動表示されることなどだ。これらの特徴を持つ手術シミュレータは世界的にもほとんど例がないそうで，宮城氏は「実際の手術では，腫瘍と神経が癒着していることもあるのでシミュレーションどおりにはいかないが，手術のイメージを把握できる」と説明していた。
実際の脳手術は，複数の医師が行うケースがほとんどで，宮城氏は手術シミュレータを使ったVR手術でも参加者を複数にしたいと考えた。そのときに参考になったのが，「Unite 2016 Tokyo」のセッション「Unity Multiplayerによるネットワーク機能実装」で紹介された動画だったそうだ。宮城氏は「複数の本人視点という意味で，FPSは手術と同じ」とし，指導医が執刀医に指示しているVR手術の動画を披露した。
セッションの終盤には，宮城氏による今後の医療革命予測が行われた。それによると，Unityを使った医療用VR/ARの開発者および企業が増加して，研究機関以外の一般の病院にも医療用VR/ARの普及が見込める。使用者の増加に伴って医療用VR/ARの技術が向上し，関連して手術の訓練や成績も向上，結果として医療全般のレベルが向上するだろうと宮城氏は展望を語った。
最後に宮城氏はUnityについて，「異なる分野を結びつけて1つにし，想像力を具体化する最先端の素晴らしいツール」と語り，セッションを締めくくった。
 |
「Unite Tokyo 2019」公式サイト
宮城氏は現在，琉球大学医学部脳神経外科での日々の手術や医学生の指導などに，Unityで開発し，OculusのVR対応HMDを用いる脳神経外科手術VRシミュレータを使用しているという。
また，3D画像やVR/ARを使った手術シミュレーション，ARによる手術ナビゲーションなどを年間約100人の患者の手術に活用しており，それらの手術支援に関する論文発表や国内外での学会発表も行っている。
 |
しかし，手術に先駆けて3Dシミュレーションを行えれば，実際の執刀時に開頭部位と腫瘍への進入部位が直感的に判別でき，手術の戦略が明確になるという。
 |
そうした理由から現在，医療分野におけるVR/ARの利用が進んでいる。宮城氏によると，それは2012年に開発されたシミュレータ，「NeuroTouch: a physics-based virtual simulator for cranial microneurosurgery training」に始まり，世界各地の医療機関にVRを使ったシミュレーションセンターが設置されてきたそうだ。
 |
 |
 |
 |
医療用のVR/ARシミュレータに，Unityが用いられるケースも増えているという。日本ではUnityとMicrosoftのHoloLensを用いた医療用VRサービス「HoloEyes」がすでに提供されているし，病変がどこにあるかを実際に患者の身体にAR画像で投影する「Augmented reality for interventional oncology: proof-of-concept study of a novel high-end guidance system platform」にもUnityが用いられているという。
 |
 |
 |
 |
 |
 |
琉球大学の手術シミュレーションは，3DCGを使ったものに始まり，3Dプリンターによる模型を使ったものから，3D触覚デバイスと専用アプリを使ったものへと変遷していったが，宮城氏によれば，いずれも費用面などがネックになっていたという。
 |
 |
 |
そこで2016年，宮城氏はUnityとOculus Rift，そしてモーションコントローラのLeap Motionを用いた手術シミュレータのプロトタイプ開発に着手した。さらに2017年には，手と指の動作が不安定であることや敏速な細かい作業が難しいといった短所を克服すべく，コントローラにOculus Touchを採用したプロトタイプを開発した。
なお，この手術シミュレータで使う患者のデータの作成時間は，CTスキャンやMRI検査のデータを3Dモデル化するのに5分から1時間，さらにVR化するのに10〜20分と，かなり短いそうだ。
 |
 |
 |
 |
手術シミュレータの開発にあたり，宮城氏がもっとも苦労したのはプログラミングだったそうで，関連する論文を読みあさったとのこと。会場では「よいコードではないのですが，恥を忍んで実例を示します」という宮城氏の前置きに続いて，手術シミュレータのコードの一部が披露された。
 |
 |
 |
 |
宮城氏の開発した手術シミュレータの特徴は，骨や脳腫瘍を自由に削れること，削る物体の硬さに応じた振動によるフィードバックがあること，腫瘍の摘出度が自動表示されることなどだ。これらの特徴を持つ手術シミュレータは世界的にもほとんど例がないそうで，宮城氏は「実際の手術では，腫瘍と神経が癒着していることもあるのでシミュレーションどおりにはいかないが，手術のイメージを把握できる」と説明していた。
 |
 |
 |
 |
実際の脳手術は，複数の医師が行うケースがほとんどで，宮城氏は手術シミュレータを使ったVR手術でも参加者を複数にしたいと考えた。そのときに参考になったのが，「Unite 2016 Tokyo」のセッション「Unity Multiplayerによるネットワーク機能実装」で紹介された動画だったそうだ。宮城氏は「複数の本人視点という意味で，FPSは手術と同じ」とし，指導医が執刀医に指示しているVR手術の動画を披露した。
 |
 |
 |
 |
 |
セッションの終盤には，宮城氏による今後の医療革命予測が行われた。それによると，Unityを使った医療用VR/ARの開発者および企業が増加して，研究機関以外の一般の病院にも医療用VR/ARの普及が見込める。使用者の増加に伴って医療用VR/ARの技術が向上し，関連して手術の訓練や成績も向上，結果として医療全般のレベルが向上するだろうと宮城氏は展望を語った。
 |
 |
最後に宮城氏はUnityについて，「異なる分野を結びつけて1つにし，想像力を具体化する最先端の素晴らしいツール」と語り，セッションを締めくくった。
「Unite Tokyo 2019」公式サイト
4Gamer「Unite Tokyo 2019」記事一覧
- 関連タイトル：
Unity
- この記事のURL：
4Gamer.net最新情報
プラットフォーム別新着記事
総合新着記事
企画記事
新着連載
新着レビュー
