動きと感情を自由視点で楽しむ「teomirn テオミルン」が目指すバーチャルリアリティの先の世界

2015.09.18 18:00

SENSORSでも度々話題になるバーチャルリアリティ。「Oculus」などのHMD(ヘッドマウントディスプレイ)を装着し、異空間でゲームやエンターテイメントを楽しむことに注目が集まっている。そんな中、現在、日本テレビがバーチャルリアリティとARを組み合わせた新たな試みを開発中ということで、SENSORSは、その現状と目的を取材するため、開発チームを訪ねた。

■現在開発中の「teomirn テオミルン」とは どんな技術なのか?

日本テレビの技術開発セクションでは、テレビ放送関連の技術だけでなく、様々な実験研究が行われている。これまでもバーチャルリアリティ関連の案件にはいくつか取り組んできたが、今回は次なるチャレンジとして複合現実(Mixed Reality)の研究をスタートさせた。

※複合現実(Mixed Reality)(※以下MR)とは、バーチャルリアリティ(Virtual Reality)とAR(Augmented Reality)とを組み合わせた技術分野。バーチャルリアリティが「没入感」を大切にするのに対して、複合現実では「現実世界と3DCGを空間的に重ねあわせる」ことが特徴で、それにより、様々な"現実を拡張した体験"が可能になる。

20150915114744.jpg

テオミルンの応用例「ピアノニストの演奏視聴」

近日中にリリースされると言われているMicrosoft社の「Hololens」をはじめ、多くのメーカーからMR用の「透過型ヘッドマウントディスプレイ」の発売が予定されている。それらをターゲットにしたコンテンツ開発の1つが「テオミルン」ということらしい。開発メンバーの藤井氏にテオミルンとはどんな技術なのかを解説していただいた。

テオミルン コンセプト紹介動画(30 秒)
藤井:
テオミルンは簡単に言うと、人間の「動き」と「感情」を記録しておき、それを自由視点で視聴できる仕組みです。モーションキャプチャの技術は昔からありましたが、「感情の変化」を同時に記録しておくことで、"動きに命を吹き込みたい"という思いがありました。ここでいう感情データとは、心拍数や体温の変化、視線運動から得られる緊張度などを時系列に数値化したものです。
20150915120815.jpg

試作機を持つ開発メンバーの藤井氏。

-- モーションキャプチャの技術と感情データを組み合わせることで、どのようなコンテンツやサービスが可能になるのだろうか。

藤井:
現在、テオミルンを使って実験を行っているのは"ピアニストの動きと感情の記録"です。 私がピアノ演奏に興味があったこともあり「ピアノの先生の指や体の動きを、自宅でも目の前で立体的に確認できたら良いのに...」という想いから始めました。さらに、ピアニストが1曲を演奏する間の感情の起伏までビジュアル化できれば楽器練習だけでなく、視聴する楽しみも増えるのではないかと思いました。私のように「これまで楽譜が苦手で上達しなかった」という方々の問題も解消できれば良いのですが...。
20150915121831.jpg

テオミルンは人の「動き」と「感情」の変化をデータとして記憶する。

-- 「光るキーボード」など、ピアノの練習をサポートする機能に関しては以前から存在していたと思うが、それらと比べてどこに違いがあるのだろうか。

藤井:
いま存在している各メーカーの演奏サポート機能との一番の違いは、「AR技術による3DCG表示」「感情のビジュアル化」の部分ではないでしょうか。ヘッドマウントディスプレイ越しに立体的にCGの指が演奏するので、「指運び」が直観的にわかると同時に、そこに自分の手を重ねながら、何度でも繰り返し練習することができます。ゲームをするような感覚で上達できるようにするのが最終目標です。 また、「ピアノの鍵盤のサイズ」は世界共通ということもあり、ARの技術を使うことで、どのピアノでも使用できるので、日本中に1000万台あると言われる「休眠ピアノ」を再活用してほしいと思っています。

-- 「感情をビジュアル化する」という部分は、どのように活用できるのか。

藤井:
楽譜に「生き生きと」「力強く」「華やかに」などの発想標語が記載されていることがありますが、それらを"見た目"でわかるように表現できれば、練習という側面でも、演奏視聴の側面でも効果的だと思います。 また、テオミルンは「演奏者の動きと感情」をデータ化するので、"誰が演奏したコンテンツなのか"も重要になってくると思っています。手の動きだけでなく、顔の表情や身体の部分までもCGで再現することも技術的には可能ですし、複数人でのコンテンツ視聴も視野に入れて開発をしています。 ※下図参照
もちろん楽器関連だけでなく、「書道」「手話」「絵画」などのレッスンツール、伝統芸能のアーカイブ保存なども研究分野として検討中です。
20150915121930.jpg

将来的には"複数人でのコンテンツ視聴" も可能に。

■「teomirn テオミルン」の今後の展望は

様々な可能性を秘めているとはいえ、まだまだ開発が始まったばかりというテオミルン。将来的にはどのような展開を目標にしているのだろうか。そのあたりを詳しく伺った。

20150915122210.jpg

テオミルンの試作機(オキュラス版)を装着した藤井氏。

藤井:
将来的には、テレビ番組との放送連携はもちろん、テオミルンの仕組みをつかったメディアプラットフォームを構築したいと考えています。例えるなら「YouTube」のようなイメージです。ユーザーが「映像・音声」と同時に「動き・感情」を記録して、それを自由にアップロードできる環境ができると、新しい生活記録(ライフログ)の形にもなるのではないでしょうか。私は自分の子供の成長記録に「写真」と「ビデオ」を使っていますが、これからは発表会などのイベントの際に「動き」や「感情」までも記録し、後で家族みんなで視聴する...などという事も可能になるかもしれません。
20150915122313.jpg

テオミルン開発チーム

有名ピアニストの演奏視聴から伝統芸能のアーカイブ保存まで、さまざまな可能性が広がるテオミルン。実際にサービスが開始されるのは少し先になるかもしれないが、バーチャルリアリティ分野の発展と共に、今後技術向上していくことは間違いないだろう。今から非常に楽しみだ。

なお、テオミルン開発チームは、開発協力してくれるパートナー企業を探しているとのこと。 興味がある方は、公式Facebookページから問い合わせてみてはいかがだろうか。


<文:SENSORS編集部>

最新記事