音楽界の大御所、スティーヴィー・ワンダーやビリー・ジョエル、そしてデビューシングル『ロイヤルズ』が全米・全英でトップに輝いた新星歌姫、ロードに共通するのは何かご存じだろうか。それは、「共感覚」の持ち主であることだ。

共感覚とは、ある刺激に対し、通常の感覚だけでなく、異なる種類の感覚をも生じさせる、特殊な知覚現象のこと。科学関連のニュースを掲載するウェブサイト、『ライブサイエンス』によれば、視覚芸術家、詩人、作家などクリエイティブな人が共感覚を持つ確率は、一般人の7倍にも上るという。

例えば、ロードは昨年、『ティーンヴォーグ』誌に、共感覚の1つである、音を聞くと色が見える「色聴」を持っていることを明らかにしている。音符によって違う色が見えるそうで、作品作りに大いに生かしていると語っている。

アメリカ心理学会の研究によれば、共感覚を持つ人の割合は、2,000人に1人だという。私たちの大方が共感覚を持たないだけに、音や音楽が目に見えたら、どんな風に感じるか興味がわく。そんな好奇心旺盛の一般人にも、同様の経験を楽しむチャンスを与えてくれるツールが登場し、注目を集めている。

「聴く」ための音楽が、目に「見える」ように

世界展開するクリエイティブ企業のワイデン＋ケネディ社のオランダ支社が中心となって開発したのが、音楽を「見える」ようにするプラットフォーム、「ラヴァ」だ。オーディオフィンガープリント・テクノロジーを用い、レコード盤から流れる曲に合ったARコンテンツをプレーヤー上に浮かび上がらせる。iOSアプリをダウンロードしたスマートフォンやタブレットで見ることができる。

Necessary Explosion iOS App from W+K_DPTNR on Vimeo.

©Wieden+Kennedy

「ラヴァ」を用いた第一弾で取り上げたのは、アムステルダム出身のアーティスト、ネセサリー・エクスプロージョンのデビュー・アルバム、『SOS』だ。アルバム内の曲ごとに違ったARスカルプチャーが出現するというつくりだ。スカルプチャーは、プロキシミティ （近接度）に基づいたアニメーションで、一方向からだけでなく、360度と全方向から見ることができ、近づいたり、遠ざかったりすれば、それに応じてスカルプチャーが変化するようになっている。

『SOS』のARは、ネセサリー・エクスプロージョンとの共作だ。音自体が持つイメージ、曲が持つテーマや、アーティストの思いや心象風景を形にし、ビジュアルでもリスナーに訴えかける。全体的にサイケデリックな雰囲気で、爆発あり、虹あり、頭蓋骨あり、花あり、波あり。ネセサリー・エクスプロージョンのカラフルなメッセージがARの形で届けられる。

レコード盤全盛時には、アルバムの「顔」であったレコード・ジャケットを眺め、付いてくるライナーノート（解説文）入りの小冊子を読みながら、曲を聴くのがお決まりだった。しかし、デジタル音楽時代を迎え、そうした楽しみは失われてしまった。

当時のこんな懐かしい決まり事を、ARが復活させてくれるのではないかと期待するのは、ネセサリー・エクスプロージョン自身だ。ARスカルプチャーが、リスナーにとって、ジャケットのイメージやライナーノートに代わるものになればと考えているのだ。ビジュアルの情報は、若者にも受け入れやすい。

レコードプレーヤーとレコードがないとARは見えないのかとがっかりしなくても大丈夫。『SOS』をダウンロード保存し、再生したデバイスを、アプリをインストールした別のデバイスを通して見れば、ARスカルプチャーは出現する。しかし、グルグル回るレコード盤上で踊っているかのようなスカルプチャーの方が、より面白味があるのは言うまでもないだろう。

お気に入りの音楽に合わせ、宇宙が鼓動する

オーストラリア生まれの、「スペース・ドリーム」は、別の惑星を舞台とした幻想的な世界が、自分がかける音楽に反応しつつ、繰り広げられるというアプリだ。デスクトップ・モードにも、VRモードにも対応している。


© Space Dream

SF小説の主人公さながらに、コールドスリープから目覚め、宇宙船を操り、とある星に着陸するところから始まる。レベルごとにテーマが設けられ、それに沿った世界が待ち受ける。例えば、「ギャラクシー・ツアー」というテーマでは、星や星雲、惑星の間をスピーディーにすり抜け、「アンダーウォーター・ワールド」では、魚やクジラなどを横目に、潜水艦で浅瀬から海底に向け、慎重に進んでいく。

宇宙船の操縦など、ゲーム的な要素もあるが、「スペース・ドリーム」の魅力は何といっても、お気に入りの音楽の音の周波数に合わせ、取り巻く世界が刻々と変化するのを目の当たりにできるところにある。通常のコンピュータのスクリーン上で見るだけでも美しさは圧倒されるばかりだが、HTC Viveや、オキュラスリフトといったVRデバイスであれば、さらに迫力が増す。

こだわりを持って創り上げられたディテールをつぶさに見るのは楽しいもの。最新のグラフィックスが生かされ、シーンに登場する、木々や草、動物などの画像は、どんなに自分に近くても、遠く離れていても、シャープさを欠くことがない。音楽と一緒に想像の世界に埋没すれば、実社会でのストレスから解き放たれる。

チュートリアルがあるので、アプリに慣れていない人も操作は簡単だ。「テレポーテーション」モードや、「フリーフライ」モードなどを利用すれば、時間を短く切り上げることも可能。自由自在に「宇宙の旅」をコントロールできる。

人とコミュニケーションをとるライト

対話型の音声操作に対応したAIアシスタント、「アレクサ」を使用した、「アマゾン・エコー」をはじめとした、AIスピーカーが広まりを見せている。内臓のマイクで音声を認識し、情報検索や家電操作などを行うことができて便利なガジェットだ。

しかし、韓国のセカンドホワイト・デザインは、「人間とガジェットの間のコミュニケーションを図る」ことを謳いながら、多くの製品がその機能が十分に備えていないと感じていた。そこで開発したのが、ライトを双方のコミュニケーションの仲介役とした、「AIライティング・スピーカー」だ。


（GIF）セカンドホワイト・デザインのウェブサイトから

四角錐形のスピーカーの表面に、細く縦長に入ったスリット状のライトが、人の声をはじめとした周囲の音や、音楽に応じて動きを見せる。声は人の感情が表れやすいもの。落ち着いた声、興奮した声、泣き声など、そのときどきで聞こえる声にマッチしたライトがつき、周りの雰囲気を人に同調させる。

「AIライティング・スピーカー」は時間や気温にも対応している。朝は穏やかでありながら明るいトーンのライトが職場に送り出してくれ、帰宅時には、1日の忙しさから解放されるよう、クールなトーンに。そして再び落ち浮いた温かみのあるトーンがベッドタイムを知らせてくれる。ライトが私たちに語りかけているといってもいいだろう。

ライトがついたり、消えたりすると聞くと、目障りなのではと勘繰りたくなる。しかし、ミニマルさを追求した、白一色のスピーカーのボディを走る、抑えた光は部屋の雰囲気に溶け込み、一体化。私たちの心を和ませてくれる。

色聴の持ち主でもない限り経験し得なかった、「音や音楽が与えてくれるビジュアル」という新たな感覚を、テクノロジーが私たちに与えてくれるようになった。人気バンドのヒットソングでできた香りや、オーケストラ演奏で料理した味などを楽しめるようになる日は意外に近いのかもしれない。

文：クローディアー真理
編集：岡徳之（Livit）