イベント
楽譜をスキャンしながらリアルタイムで演奏できる!? SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(4)
「Emerging Technologies」展示セクションレポート(1)
「Emerging Technologies」展示セクションレポート(2)
「Emerging Technologies」展示セクションレポート(3)
Gocen: a Handwritten Notational Interface for Musical Performance and Learning Music
by 首都大学東京,馬場哲晃氏他
ありそうでなかった楽譜をスキャンしながらリアルタイムで演奏できるDTMシステム
昨年のSIGGRAPH 2011で,音楽コントローラ「PocoPoco」を発表した首都大学東京の研究グループは,今年も音楽関連の新技術の発表を行っていた。
音楽を語るうえでとても重要なのは「楽譜が読めるかどうか」という点。義務教育を受けていれば譜面上のドレミ自体は読めるはずで,その場に鍵盤楽器でもあれば単音を出すことは誰にでもできる。しかし,楽器がその場にないときに,肉声で譜面のメロディを歌うには音感と歌唱力が必要で,難度は一段上がる。
研究グループが開発した「Gocen」は,USB接続のコンパクトな光学スキャナで楽譜をなぞると,譜面内容を認識してPCがその音符をリアルタイムに発音するシステムになる。名刺を読み出してテキストデータ化するOCR(Optical Character Recognition)システムは身近なものになっているが,このGocenは,まさに“OMR(Optical Music Recognition)”ともいえるシステムなのだ。
ホストPCの画面にはスキャナが捉えているリアルタイム映像が表示されており,マーカーのところに音符がやってくると,その音符を発音する仕組みになっている。
現状では,音高を表す音符の「たま」(符頭)の位置のみの認識で発音し,音長を表す「はた」(符尾)は認識されない。発音はマーカーを音符の上に置いている間ずっと発音し続け,マーカーが音符から外れて空白の五線にある間は消音する。つまり,8分音符,4分音符といった音長制御は自分で行う必要がある。
マーカーに音符を当てるとその音符の音高で発音する |
スキャナ本体とテスト演奏に用いた譜面。印刷された楽譜だけでなく,手描きの揺らぎの多い五線譜の演奏も可能だ |
スキャナにはいくつかのボタンが用意されており,発音中の音符からマーカーをずらしても消音しない「スラー」ボタンを押しながら,次の音符まで持っていけば,その音符を発音し続けながら次の音符の発音につなぐことも可能だ。さらに,発音中にスキャナを上下させるとビブラート表現も行えるようになっている。
臨時記号や演奏記号,オクターブ記号のような音楽記号の認識にも対応しており,譜面に書かれた一部の楽器名の認識も可能で,音色の変更も行える。OMRというよりも,もはや実体物の楽譜を使ったミュージックパフォーマンスシステムといってもいいかもしれない。実際,ブースでは,4人がGocenシステムを使い,リアルタイム4重奏を行うライブパフォーマンスも行われていた。
Gocenのハードウェア自体に特別なものはなく,スキャナ部はごく普通の光学スキャナに光源ユニットを備え付けたものだ。革新技術はむしろホストPCで走るソフトウェアシステムにある。音符認識後は,このソフトウェアシステムがMIDI楽器に対して制御用のMIDIコマンドを送出する。
使用技術の1つ1つは既存技術の応用だが,それらを組み合わせて実現させたアイデアそのものが素晴らしい研究だ。
スキャナ部の構造。構造自体は普通の光学スキャナと変わらない。ミソはホストPC上で走る認識システムにある |
音符の符頭の大きさで音量を表現することも可能という |
ありそうでなかったこの楽譜リアルタイム演奏システム。現在,初音ミクに代表されるボーカロイドDTMがちょっとしたブームなので,これにうまく結びつけられれば,商業的にもかなり盛り上がりそうな予感がする。
Hand-rewriting: Automatic Rewriting like Natural Handwriting
by 東京大学大学院情報理工学系研究科苗村研究室,橋田朋子氏他
紙に対してコピペや[DEL]できるペーパーコンピューティングの世界
SIGGRAPH 2011では,電子ペーパー的な特性を持ったデジタルサイネージ向けのボリュメトリックディスプレイの技術展示を行っていた東京大学大学院情報理工学系研究科苗村研究室の橋田朋子氏ら。今年は,実体物としての紙に対してコンピューティングを行う,いうなれば「ペーパーコンピューティング」を題材にした発表を行っていた。
「Hand-rewriting」と題されたこの研究は,人間が自分の手で紙に描いた文字や図柄をコンピュータが自在に加工するというものだ。手描きされた紙に対してポストプロセスをコンピュータが行うというとイメージしやすいかもしれない。
Hand-rewritingが提供する基本機能は2つ。1つめは,紙に手描きした字や図版を消す機能。2つめはコンピュータが紙に字や図版を書き込む機能だ。
たとえば,ユーザーが紙に字を書くと,その手書き文字を立体文字に直してくれたり,複製してくれたりする。あるいは間違えている箇所を消し去って,正しく推敲してくれたりする。また,絵を描いた場合は,その輪郭線を綺麗に補正してくれたり,線で囲まれた領域を塗りつぶしてくれたりするのだ。
実体物の紙を媒介にするシステムなので「できること」は分かりやすいが,仕組み自体は結構複雑だったりする。
まず,このシステムに用いる紙にも秘密があり,紙面全体にはPhotochromic Material(フォトクロミック物質)が塗布されている。フォトクロミック物質とは,特定波長の光を当てると分子構造が異性化する材質のことで,今回のシステムでは波長365nmの紫外線が照射されると有色化するスピロピラン系の材質が用いられていた。常態では透明だが,紫外線が当たった箇所が青,紫,ピンク,黄色などに変色する仕組みとなる。
システムの頭上には紫外線プロジェクタとカメラが搭載されており,ユーザーが書き込んだ紙をカメラで捉え,プログラム制御で紙面上の任意の位置に紫外線をプロジェクタで照射して字や図版を浮かび上がらせるというわけだ。
直上にはカメラが設置されている |
右側の仰々しいボックスが紫外線プロジェクタ |
さて,紙に向かって描くためにユーザーが持つペンは,Thermochromic Material(サーモクロミック物質)のインクペンだ。サーモクロミック物質とは,常温時は有色化しているが,熱を加えると透明化してしまう熱変色特性を備えたもの。これをインクにしたペンは,パイロットから「フリクションペン」として市販化されており,今回のシステムでもこれをそのまま利用している。
まとめると,ユーザーはサーモクロミックペンでフォトクロミックコートされた紙に書く。書かれたものは,下部からの赤外光で消すことができ,さらにコンピュータ側から書き込む時は紫外線を使うというわけだ。
普段からコンピュータを使いすぎてる我々は,紙の書類に対して書き損じたときや,反復書き込みをしいられるようなときには「ああ,現実世界でも「[CTRL]+[C]してのコピペが使えたらいいのに」とか,「修正液じゃなくて[DEL]キーが紙にも使えたらなぁ」と妄想することがあるが,このシステムならばそれが可能になるというわけだ。
Shader Printer
by JST ERATO,五十嵐デザインインターフェースプロジェクト
プロジェクションマッピングを立体物に焼き付ける方法とは
3回めのE-TECH展示セクションレポートで軽く解説したが,現実世界の立体物にプロジェクタなどでCGを投射することをプロジェクションマッピングという。プロジェクションマッピングは,民生製品の柄デザインを検討したりするのにも利用されることがある。無地製品に,CG柄を投射することでデザインの具合を評価するのだが,当然のことながらプロジェクタの照射範囲からずれてしまえばCG柄は消えてしまうし,プロジェクタの輝度性能の関係から,明るい部屋ではプロジェクションマッピングを行うことは難しい。
JST ERATO,五十嵐デザインインターフェースプロジェクトの研究グループが開発した「Shader Printer」は,プロジェクションマッピングで行う立体物へのCG投射の結果を恒久的に焼き付けてしまうような技術だ。
ただ,まだ基礎研究段階なので制限も多い。投射対象立体物にはあらかじめ,双安定熱変色インク(Bi-stable Thermochrmoic Ink)で着色しておく必要がある。ここにレーザーでCGを描画すると,双安定熱変色インクは70℃以上の加熱で透明になってしまうため,着色が消えてその部分から着色前の素地が現れるのだ。
ようするに,Shader Printerとは,双安定熱変色インクでの着色後の色と素地の状態を描き出せるプロジェクションマッピングシステムなのである。
双安定熱変色インクは,その名のとおり,変色後に安定するので,描き出されたテクスチャはそのまま定着する。たとえば,靴ならばそのまま履いて,服と合わせて評価することもできるわけだ。
双安定熱変色インクのテスト。ドライヤーで温風を吹き付けると素地の白が出てくる |
冷却スプレーを吹きかけると双安定熱変色インクの色が復活する |
現在のShader Printerシステムの描画解像度は100dpiで,描き出せるのは完全な二値画素(インク色か素地色か)になるが,意外に解像度は高いので,ドットパターンなどを活用すればグラデーション表現も可能だ(新聞に印字された白黒写真のようなイメージ)。定着したテクスチャは,常温ではそのままだが,−10℃以下に冷やすと双安定熱変色インクの色に戻るので,一度描いたテクスチャを消すこともできる。その後,再び別のデザイン・テクスチャでレーザー投射すれば,そのパターンで再び焼き付けることが可能だ。
電子レンジのようなプロジェクションスペース内部。ターンテーブル上には現在の向いている方向が分かるようにドットマーカーが置かれている |
描画用のレーザーはガルバノスキャナによってスキャン描画される |
もし,Shader Printerシステムが一般的に普及したら「気分に応じて衣服のテクスチャを変更してからおでかけする」なんてことが実現できることになる。まだ,二値画素しか描けないが,今後,階調表現やフルカラー表現などができるようになればさらに面白くなるだろう。
Combiform: a Combinable Social Gaming Platform
by University of Southern California, Interactive Media Division
実際に発売計画中のソーシャル携帯ゲーム機
ソーシャルゲームというとスマートフォンやPCなどを用いて,インターネット上のプレイヤーと競ったり,協力し合ったりして楽しむゲームなわけだが,Combiformはその場にいる人と,実際に顔と顔を向き合わせてボディコンタクトを伴って楽しむゲームとなる。
結論から言ってしまうと,Combiformの主役となるのはゲームコントローラだ。現在のプロトタイプでは,一般的なゲームパッド程度の大きさの直方体にボリュームスイッチとボタンが1つ取り付けられているものだ。コントローラは4つで一セットとなっており,各プレイヤーはこのコントローラを1つ手にとってゲームをプレイすることになる。それぞれのコントローラの側面には,強力な磁石が実装されていて,4つのコントローラは側面を合わせて合体できる仕組みだ。
また,コントローラ下部には取っ手(ハンドル)が取り付けられており,ゲームによって,この取っ手を手の甲にはめてプレイするものもあるという。
コントローラは,上面が半透明になっており,内部に複数のRGB-LEDが実装されている。プレイするゲームによっては,ここがイルミネーション的に光ったり,ゲームプレイにおけるインジケータ表示の役割も果たす。
実際のゲームプレイにはホストPC(スマートフォンでも可)が1台必要で,ゲームプログラム自体はホストPCで動作させることになり,Bluetoothで接続された4基のコントローラとリアルタイムで通信が行われる。
さて,Combiformでどんなゲームが遊べるのかというと,画面に映ったキャラクターをコントローラで操作してプレイするような我々がよく知るビデオゲームスタイルのゲームではなく,コントローラとの向き合い方がメインフィーチャーとなるゲームプレイが中心だ。
たとえば「Switch」というゲームは,各プレイヤーがコントローラを1基ずつ手の甲にはめてプレイする,テレビ画面を使わないゲームだ。まず最初は,全プレイヤーが手を差し出して4基のコントローラを田の字状に合体させる。ゲームが開始すると,各プレイヤーのコントローラが青か紫に光るので,紫に光ったプレイヤーは合体を外し,制限時間内にコントローラを別の場所へ合体させなければならない。
簡単そうに思えるかもしれないが,立ち位置を変えないで合体し直すには腕をクロスさせる必要があるし,立ち位置を変えるならば小走りで場所移動をする必要がある。走ったり腕をくねらせたりという,ボディコンタクトありの,パーティゲームというわけだ。プレイ感覚は丁度ツイスターゲームのような感じというとイメージしやすいかもしれない。
「Blow-it Up」というゲームは,2プレイヤー同士の2チーム対戦ゲームだ。こちらはテレビ画面を見ながらプレイするタイプで,各プレイヤーはコントローラを手の甲に備え付け,チームメイトと合体させる。
ゲーム画面には風船が映っており,どちらのチームが早く画面上の風船を膨らませられるかを競うのがこのゲームの目的だ。チームメイトと動きを合わせるように腕を上下させると風船を膨らませることができるのだが,まるで手をつないだようなスタイルで仲良く手を上げ下げしなければならないのだ。
なお,プレイヤーの腕の上下周期の検出は,コントローラに内蔵された3軸の加速度センサーを利用して行っているとのこと。
その他のゲームについてはCombiformの公式サイトを参照してほしいが,基本的にはパーティゲームのようなシンプルなものが多い。しかも,なるべく人と人が顔を合わせて身体を動かして楽しめるように設計されているのが特徴だ。
研究グループは,2013年の4月に4基のゲームコントローラを99ドルにて発売する計画だそうで,これに合わせてゲームの開発キットも無料で配信する予定という。週末にパーティを開いたり,仲間内で酒場に集まってワイワイ騒ぐ習慣が定着している欧米ではもしかすると人気が出るかもしれない。
ただ,こうしたパーティゲームをプレイするためだけの専用システムを購入するユーザーがどの程度いるのかはなかなか読めないところである。
むしろ,この発想を携帯電話本体に持っていったほうがいいような気もする。スマートフォンならば,ほぼ同サイズ,同形状だし,常に各自が携帯しているし,仲間が集まったときに,すぐにプレイを始められるだろう。Combiformが必要とする3軸加速度センサーも携帯電話ならば標準装備している機種もある。
複数の携帯電話同士を合体させたり,携帯電話同士の隣接常態をセンシングする機能さえあれば,Combiformのやろうとしていることは実現できるはずだ。どうだろうか。
「Emerging Technologies」展示セクションレポート(1)
「Emerging Technologies」展示セクションレポート(2)
「Emerging Technologies」展示セクションレポート(3)
- この記事のURL: