【続報】次世代のピアノ視聴練習システム「teomirn テオミルン」 開発チームが取り組むMixed Realityの世界

2016.11.02 10:49

2016年はVR元年とも言われ、多くのVR(バーチャルリアリティ)関連の製品やサービスがスタートしている。
SENSORSでは、そのバーチャルリアリティを現実空間に表示させる複合現実(Mixed Reality)※以下MR という分野に日本テレビが取り組んでいるという記事を昨年9月に紹介した。今回は、さらに開発が進んだという報告を受け、再び開発チームを訪ねた。

日本テレビでは、次世代コンテンツの研究開発、新規ビジネス分野への挑戦といった様々な取り組みが行われている。
テオミルンはその一環として、「放送」という枠にとらわれずに『皆が使ってくれる、皆に喜ばれるモノ』を提供できるよう、モーションキャプチャによる動きのコンテンツ開発に挑戦中とのこと。改めて、開発メンバーの藤井氏に話を伺った。

teomirn2-1.jpg

コンセプトイメージ「ピアノニストの演奏視聴」

■「teomirn テオミルン」とは どんなシステムなのか。

--
改めて、テオミルンは、どういったものかお聞かせください。
藤井:
テオミルンは一言でいうと、ピアニストの「動き」と「感情」を同時に記録し、自由視点で視聴できるシステムです。

これまで有名アーティストやピアニストの演奏を立体的に「見る」「聴く」という場面は、コンサートホールや、ライブなどに限られていたと思います。テオミルンを使うことでプロの繊細な指先の動きはもちろん、身体の動きや感情の変化までを、MRの技術を使うことで、自宅のリビングなどで再現し、自由な角度・距離から視聴することを可能にします。

テオミルン コンセプト紹介動画 ver.2(30 秒)

--
今年2月に虎ノ門ヒルズで行われた「SENSORS IGNIITON 2016」でも試作機が展示されていましたが、今回、どういった部分がバージョンアップされているのでしょうか。
藤井:
2月に虎ノ門ヒルズで展示した際は、VR用のHMD(ヘッドマウントディスプレイ)を使用して疑似的にMRを再現していましたが、今回のバージョンは視聴デバイスとして透過型のHMDを使っています。そのため、映像が遅延することで起きるいわゆる"VR酔い"は基本的に発生しなくなりました。

また、今回のバージョンから演奏者の手指だけでなく、身体の動きもポイントクラウドという手法で「立体記録」することや、スマートフォンやタブレットでの「複数同時視聴」も可能になりました。これらの機能は、将来的な、テレビ放送、音楽番組との連携も視野に入れて開発を進めています。
teomirn2-2.jpg

ポイントクラウド形式による、人の動きの立体記録の例

■より直観的・効率的なピアノレッスンへの応用

--
以前、テオミルンはピアノのレッスンにも活用できるといったお話でしたが、そのあたりは今回バージョンアップされているのでしょうか。
藤井:
楽譜を使用したピアノレッスンは非常に長い歴史があり、これまで多くのピアニストを育ててきました。その一方で楽譜が苦手という理由で、楽器演奏を挫折した方も7割~8割存在すると言われています。

テオミルンのモーションキャプチャ技術を使い、楽譜に代わって「指運び」を実物大で練習者に見せることで、練習を効率的にアシストしていくことが可能になると考えています。「プロミュージシャンの指運びをスロー再生で確認する」といったことや「ピアノの先生のお手本演奏を自宅に持ち帰って確認する」といったレッスンも可能になります。

今回、MRで弾くべき鍵盤がハイライトされる「レッスン機能」も追加しましたので、今後、いろいろな方に実際に体験してもらいフィードバックを受けることで、さらに改良を加えていきたいと考えています。
teomirn2-3.png

コンセプトイメージ「直観的なピアノレッスン」

■マーカーレスモーションキャプチャへのこだわり

--
映画やゲームの世界で使われているモーションキャプチャ技術との違いがあれば、教え てください。
藤井:
一般的なモーションキャプチャは、小さなピンポン玉のような"マーカー"を指や体に複数装着し、それを頼りに3次元座標値を割り出すという方法なのですが、ピアニストにマーカーやグローブを装着してもらうことは、演奏に支障がでる可能性もあるため、テオミルンではマーカーを使用せずにモーションキャプチャする方法を採用しています。

赤外線センサーを複数使用して、範囲と精度を向上するプログラムを新たに開発しています。
最終的には一般ユーザーが自分の演奏を簡単に記録し、確認、ネット上に公開できるような"テオミルンピアノ"を作ることが目標です。
teomirn2-4.png

モーションキャプチャ装置のついたピアノ「テオミルンピアノ」の試作機

■「teomirn テオミルン」の今後の展開は

--
数か月の間で様々な機能強化を行っているようですが、今後はどのような展開を検討しているのでしょうか。
藤井:
ピアノを中心とした楽器分野に関しては、ユーザーが記録した指運びを含む演奏データを、インターネット上で売るといったコミュニティ形成や、ピアノレッスンにゲーム性をもたせ、高齢者の脳トレ的な活用法も考えられます。

また、ピアノ鍵盤の寸法は全世界で共通という利点を活かし、日本国内だけでなく、北米、欧米をはじめ中国、東南アジアなどのピアノ需要に向けたサービスも検討中です。
とはいえ現時点では、透過型ディスプレイを一般の方が購入できる状態ではありませんので、現在使用できる「VRデバイス」への移植も検討しています。立体的にコンテンツを楽しむという部分はVRでも実現可能だと思います。
--
ピアノ以外の分野に関してはいかがでしょうか。
藤井:
モーションキャプチャの範囲や精度を向上させることができたので、ピアノ以外の分野における活用に関しても十分に対応できると考えています。
テオミルンの「手の動作を立体的に学べるツール」という基本機能を、「料理」や「手芸」に使ってみよ うというアイデアから、「医療」「製造業」といった用途で活用するというアイデアまで幅広い意見が集まっています。そのあたりは、有効性や課題など、各分野の専門家の方の話を聞く必要があると思っています。
teomirn2-5.png

テオミルン開発チーム

約1年という期間で、身体部分の立体記録やレッスン機能までを実装してバージョンアップしたテオミルン。SFの世界で描かれていた「10年先の未来」がすぐそこまで来ているような印象を受けた。SENSORSは、今後もテオミルンの展開に注目して、新たな動きがあればレポートしたい。
なお、展示イベント等で「テオミルン体験会」を開催する予定もあるとのことなので、興味のある方は公式Facebookページをフォローしてみてはいかがだろうか。


<文:SENSORS編集部>

最新記事