芝浦工業大学が新たなエンターテイメントシステムを開発。生体信号の度合いで視覚効果演出を

INDEX

ヘッドマウントディスプレイを試したことはあるだろうか。

頭部に装着するディスプレイ装置だが、最近ではスマートフォンをゴーグルにセットして使うものもある。ゲームや動画など臨場感あるVRコンテンツを楽しむ人も多いだろう。

没入感の高いヘッドマウントディスプレイだが、ライブコンテンツでは大勢の観客による一体感を感じるのが難しい、という物足りなさがあった。

そこでヘッドマウントディスプレイで視聴しながら、生体情報を利用してほかの視聴者との一体感を共有するためのエンターテイメントシステムが開発された。

ライブコンテンツ視聴者の生体情報を反映し、一体感のある演出を実現

2018年10月22日、芝浦工業大学は、情報通信工学科の堀江亮太准教授による、新たなエンターテイメントシステムの開発を発表した。

このシステムでは脳波などの生体信号から、複数の参加者の精神的な盛り上がりを計測。度合いに応じてハートマークや桜吹雪など、視覚効果による演出を行い、世界中で同時に一体感を共有することができる。

動画では、「ユニティちゃんライブステージ！ -Candy Rock Star-」が使用されている。

ライブ参加者は全員、ヘッドマウントディスプレイとともに簡易脳波計を装着する。脳波を取得して、全員の集中度を解析。解析結果に基づいた視覚効果を、それぞれのライブ画面に再生する。

必要となるのは、生体信号の反応だけだ。ライブ会場に出向くことができない、肢体不自由者や高齢者にも能動的な参加の道を開く。

2020年東京オリンピックでは、ライブ会場不足が心配されているが、こういった一体感を共有できるヘッドマウントディスプレイで補うことができるかもしれない。ライブ会場のバリアフリー化の遅れにも一役買うかもしれない。

ライブ以外の展開としては、講演会や企業発表会、学校の授業などでの利用が考えられる。参加者の反応を可視化すれば、一体感の共有とともに、発表者へのフィードバックにもなるだろう。

それでは、システムの技術的な概要をみてみよう。

脳波には周波数が低い順に、σ波・θ波・α波・β波がある。脳波のβ/α比は、ストレスや集中の度合いを測る指標として利用されている。

今回のシステムではこの脳波のβ/α比が増加することを、精神的な盛り上がりと定義。

簡易脳波計で測定した脳波のβ/α比が、しきい値を超えたときに視覚効果を生成し表示する。しきい値は物理学や工学における、境目となる値のことだ。

このシステムでは、全ユーザの平均値がしきい値を超えたときに視覚効果を現す「サーバ型」と、ユーザそれぞれの視覚効果を画面に現す「クライアント型」が開発された。

実装の構成例としては、ユーザ数と同数の簡易脳波計、タブレット端末、没入型ヘッドマウントディスプレイ、クライアントPC、および1台のサーバPCを用意する。

各ユーザは、脳波計と没入型ヘッドマウントディスプレイを装着。額と耳の間で計測された脳波信号を、タブレット端末に送信する。

計測された脳波信号からβ/α比比を算出し、クライアントPC上のデータ処理プログラムに送信。

「クライアント型」では、データ処理プログラムがβ/α比に対応する視覚生成情報を生成し、サーバPC上に送信。全クライアントPC上に共有し、全ユーザの画面に反映する。

「サーバ型」では、サーバ上のデータ処理プログラムにて平均値を算出。盛り上がりにともなって脳波のβ/α比が増加し、しきい値を超えたときに視覚効果を生成し全ユーザの画面に表示させる。

ユーザそれぞれの脳波がしきい値を超えたときに、視覚効果を発生させ共有するのが「クライアント型」で、全ユーザの脳波の平均がしきい値を超えたときに、視覚効果を発生させるのが「サーバ型」ということになる。

6名（3名１組）で行った実験では、「クライアント型」で一体感を感じるアンケート評価が高かった。「サーバ型」では、脳波が増加するタイミングが揃って効果が生成されたときに、一体感や達成感が得られたという回答が多かった。

今後は、さらなるデータを収集し、視覚効果の共有によるβ/α比の変動分析や統計学的評価、閾値の設定などを行っていく。ライブ参加の一体感がより得られるシステムへ改良するという。

インターネット上でライブの一体感を共有するには、これまで参加者・視聴者がSNSや画面上でコメントを共有する、という方法があった。

今回開発されたシステムでは、各ユーザが没入型ヘッドマウントディスプレイでライブの臨場感を楽しみながら、測定した全員の脳波をサーバーに集めて処理し、連動する視覚演出を共有する。センサーやIoT、クラウドといった技術が活用されているようだ。

参加者の一体感によるエンターテイメント性を高めれば、これからは世界各地のライブに、VRゴーグルで参加する人が増えるかもしれない。