スマートグラスでテレビの楽しみ方を拡張する「日テレ Mixed Reality」公開 開発担当者に聞く

2018.02.27 15:00

近未来のテレビ視聴システム「日テレ Mixed Reality(=MR)」が3月6日・7日、東京 汐留・日本テレビタワー2Fで開催されるイベント「クリエイティブテクノロジーラボ」で一般公開される。「SENSORS」では公開に先立ち開発の現場に潜入、"テレビの近未来"を体験してきた。

このシステムはその名の通りMixed Reality(MR:複合現実)の技術を活用。体験者はスマートグラス(Microsoft HoloLens)を装着することで、テレビ画面の外側に表示される様々な番組関連情報や、番組出演者などのCG(コンピュータグラフィックス)を楽しむことができる。スマートグラスがあれば、テレビ側に特殊なデバイス等は必要ない。
またスマートグラスを複数所持していれば、同時に複数人で楽しむことも可能だ。

mixed_reality1.jpg mixed_reality2.jpg

スマートグラスをつけた状態のイメージ図

■ 実寸大の選手やアーティストが目の前に!スポーツ中継や音楽番組などの楽しみ方を拡張

「テレビの楽しみ方を拡張していく未来」というコンセプトで開発されたこのシステム。今回のイベントで体験できるコンテンツはプロ野球中継、音楽番組、自動車のCM、天気予報の4つ。

プロ野球中継では、テレビ画面の横に実寸大の出場選手や、選手オーダー、得点など試合に関するデータが表示される。選手が実寸大で表示されることで、これまで実際に会わないと分からなかった選手の体の大きさを、テレビの前にいながら体感することができる。
また、ホームランが飛び出すとテーブル上にミニチュア球場が出現。ホームランの軌跡を確認できる。今後、サッカー中継ではピッチ全体の俯瞰図を、駅伝ではコース図(山の起伏なども再現)を表示するといった展開が考えられるという。

mixed_reality3.jpg mixed_reality4.jpg

音楽番組ではボーカリストが放送で歌っている間、テレビ画面の横にボーカリストのCGが登場。CGのサイズはミニチュアや実寸大と自由に切り替えられる。今回のイベントはボーカリストだが、ダンサーであればCGの後ろに立って振り付けを真似してみたり、ミュージシャンであれば楽器演奏中の手元を拡大して指さばきをチェックしてみたりと、楽しみ方は広がりそうだ。

mixed_reality5.jpg

CMと天気予報はテレビの前にあるテーブルの上で展開される。CMは車が走行する様子を360度から見ることができ、通常のCMでは見えなかった角度からも車体のデザインをチェックできる。天気予報では立体の天気図とともにアナウンサーが登場する。

mixed_reality6.jpg mixed_reality7.jpg

「クリエイティブテクノロジーラボ」のブースでは、実際にスマートグラスを装着しこれらのコンテンツを体験することが可能だ。体験の順番を待っている間も、ブースにモニターが設置され、他の人が視聴しているスマートグラスの中の様子を確認することができるという。

スポーツ選手やアーティストといった「人」をより身近に体感できることはもちろん、今後は、食べ物や衣服など「物」を実寸大でチェックし買い物の参考にするといった活用もできそうだ。従来のデータ放送のようにテレビ画面のサイズに制限されることなく、テレビ画面の外を広く使いサイズに縛られず情報を伝えられる点も魅力と言えるだろう。

■「MRの活用」に着目した経緯

このシステムは日本テレビの技術統括局コンテンツ技術運用部に所属する藤井彩人と堤泰生が中心となり開発している。藤井・堤は、番組のテロップなどを扱うCGのセクションに所属している。

「CGのセクションとしては、日々情報をどう分かりやすく伝えるかということに向き合っている」中、「画面の外に飛び出して表現できたら、もっと分かりやすい番組が作れるのでは」(藤井)と考えていたことがMRの活用を志向した理由だ。

まずはピアニストの動きを自宅のピアノで再現できるシステム「teomirn テオミルン」を開発し、「手先×学習」という側面でMRの活用を模索(「teomirn テオミルン」についてはこちら
この「teomirn テオミルン」開発のノウハウを生かしつつ、CGの動きはよりスムーズに、複数のスマートグラスでの同時体験も可能になるなど、改善も施されている。

【SENSORS】テオミルン コンセプト紹介動画 ver2

ちなみに、これまでもこの部署ではCG技術の発展を放送に反映してきたが、藤井が印象に残っているのはバーチャルセットだという。
「グリーンバックのスタジオを使って自由自在にCGを出せるバーチャルセットが20年ほど前に出た時は、とても可能性を感じましたし、日本テレビも専用のスタジオができました」と振り返る。バーチャルセットの登場によりテレビの表現の幅が大きく広がり、現在、ニュース番組でアナウンサーがCGで作られたトピック一覧ボードの横に立ち、ニュースを伝えるといった演出は当たり前になっている。
「MRはこのバーチャルセット以来、テレビ放送の表現の幅を大きく広げる可能性を持っている」と藤井は語る。それゆえ、早い段階から研究開発に取り組んでいこうという考えだ。

■ 肝となるのは立体記録の技術と、デバイスの普及

また今回、CGで人や車を表示するにあたっては、立体記録の技術を生かしている。「様々なスタジオの様々な収録方法を常時試しています。フレームレート(1秒間に処理できるフレーム数)が現在は最大20から30ぐらいなのですが、今後こちらが増えればさらにスムーズな動きが表現できます」(藤井)、「今の時点で一番いいものを研究し、反映しています」(堤)とのこと。ただ「この分野は半年後、一年後にはすぐ新しい技術が出てくる」(堤)ため、開発チームは随時アップデートをしていくそうだ。

CGのさらなる進化が今後見込める一方、目下の課題はスマートグラスの普及率の低さだ。現在は値段も高く、開発者向けのニッチなデバイスという域を脱していない。今後、「お茶の間で楽しむ」テレビの未来を実現するためには、デバイス自体の進化と普及が不可欠となる。「スマートグラスは、重さや視野角の狭さなどが解消されれば普及していくでしょう。デバイスの性能が整ってくるとより良いサービスが提供できます」(藤井)と今後の進化に期待を寄せる。

なお、スマートグラスが普及するまでの間を見据えて、スマートフォンのAR機能を使用した視聴システムも並行し開発中。システムの基本部分をMRスマートグラス向けと同一にすることで、将来的なマルチデバイス対応を目指している。

mixed_reality8.jpg

日本テレビ 技術統括局コンテンツ技術運用部 藤井彩人(左)、堤泰生(右)

■ コンセプトカーのような位置付けで、様々な声を聞いていきたい

今回体験できる「日テレ Mixed Reality」はあくまで実用化に向けたプロトタイプ。「モーターショーでいうコンセプトカー」(藤井)という位置付けだ。
現在、このシステムの開発場所には擬似的なリビングルームが設置され、スマートデバイスを装着してテレビ画面を視聴する環境が常時整えられている。ここに日本テレビの番組ディレクターらが出入りし実際に体験した上で、各担当番組で活用するアイデアをブレストしているという段階だ。
さらに「日本テレビ関係者に限らず色々な人に体験いただきどんどんフィードバックしていただくことで、サービスの改善・進化につなげたい」(藤井)ということで、一般向け公開の機会が実現した。

近未来のテレビ視聴システム「日テレ Mixed Reality」を体験できる「クリエイティブテクノロジーラボ」への参加方法など、詳細はこちらから。
※入場無料(受付にてお名刺を2枚頂戴します)

ライター: 市來 孝人(いちき・たかと)

ライター  株式会社 amplifier productions 代表取締役。
エンタメ、広告、テクノロジーを主な領域として取材・執筆(「AdGang」 「ライフハッカー[日本版]」 「Oggi.jp」 「MEN'S CLUB」Web 等)。
J-WAVE 「INNOVATION WORLD」等、ラジオ番組でのコメンテーターとしても不定期出演中。  イベントのMCやモデレーターも。

最新記事