個人の耳の形に合わせて"最適化"し、臨場感満点の立体的な音響体験が可能に！

――まず「Labアプリ」の概要や特徴についてお話しいただけますか？

神保：Labアプリは、2021年12月16日に一般公開しました。私たちは「WOWOW Lab」というチームで活動をしており、いろいろな新しい技術の開発をさまざまな企業さん、スタートアップさん、クリエイターさんとのコラボレーションでやってきました。ところが、作ったコンテンツ、トライアルしたいサービスを一般のお客様に体験いただく機会をつくりづらい状況でした。そんな中で最新の映像や音声など、新しい技術の"実験"を誰でも体験できる場所として作ったのがLab アプリです。
特定の技術に縛られずにどんどん機能を増やしていきたいという考えのもと、いわゆる"アジャイル開発"と呼ばれる手法を用いて、要件を決めながら開発していくというスタイルで進めています。

――その第1弾のコンテンツとして「360 Reality Audio」が実装されていますが、こちらのコンテンツはどういうサービスでどんなところがすごいのでしょうか？

庄司：「360 Reality Audio」は、ステレオで聴かれているサウンドとは全く異なる、より立体的で、より自然に臨場感を表せる音楽体験です。これまでは"チャンネルベース"と呼ばれる技術で、スピーカーのある位置から音が出ていたのですが、「360 Reality Audio」では"オブジェクトベース"といって、360度の天球の表面のどこでも好きな位置に音を置いたり動かしたりすることができるので、聴く側が立体感のあるサウンドを楽しめるというだけでなく、音を作る側の創作意欲をかき立て、表現の幅を広げることができるという点でも、新しい体験になっていると思います。

似た技術はすでに存在していますが、我々の技術は"360度"ということで、下からの音も表現できるというのが強みです。例えば、ライブ会場では下からの反響音を体感できると思いますが、そうした音も表現しやすいです。

蓮尾：WOWOW Labの活動としても音声開発は行なっており、特に3Dオーディオ、立体音響のコンテンツをどうやって制作し、どうやってアウトプットするかについては、ずっと試行錯誤を続けています。その中で今回実装した「360 Reality Audio」が特徴的だと思うのは、音場の個人最適化ができるという点です。
スマートフォン専用アプリケーション「Sony | Headphones Connect」で個人の耳の写真を撮り、その画像から聴感特性を認識・分析し、「360 Reality Audio」認定ヘッドホンの音響特性と併せて、Labアプリに情報を渡すことで、ひとりひとりに最適化した音場で立体音響を聴くことができます。この最適化をするかしないかで、音が大きく変化します。この機能を実装し、一般のお客様にお届けできるというのは、「360 Reality Audio」ならではのことだと思います。今後、この特徴をうまく活かしてコンテンツの開発や検証を進めていけたらと思っています。

――天球という言葉が出ましたが、実際にライブ会場などで、どのように収録を行なうんでしょうか？

蓮尾：まず、360度の音響が活かせる環境、例えばすごく音の反響が良い、残響時間の長いコンサートホールなどだと作品の音のイメージがわかりやすくなると思います。現在公開中の「SHE'S "By the Lake" LIVE」というコンテンツがあるんですが、これは猪苗代湖のほとりで森に囲まれている環境で演奏し、その音を収録しています。普通のレコーディングスタジオでももちろん録音できますが、空間により特徴があるような場所のほうがわかりやすいかもしれません。

収録する方法も、いろいろありますが、一般的なステレオミックス用の収録よりもアンビエンスマイクなど空間情報をキャプチャできるマイクを多く置くことが多いのです。それをどこに置くべきかは、下見をしたり、過去に行なわれた収録の様子などを確認し「ここにマイクを置けばこういう音が録れそうだ」と考えながら組み立てていきます。その環境の特徴をうまく活かせる場を探して、マイクを置き、そこで拾った音をミックスしていくという流れです。

――その音をさらに、聴く側のほうでも耳の形から聴感特性を解析し、ひとりひとりに最適化した音場で聴くことができ、より立体的な、臨場感のあるサウンドを楽しむことができるわけですね？

庄司：「360 Reality Audio」は、基本的に、皆さんがお持ちのヘッドホンやイヤホンの機種を選ばずに聴くことができ、お楽しみいただけます。ただ、皆さん耳の向きや内耳の形というのは異なるので、聴いている音は実はひとりひとり全然違うんです。聴感特性をきちんと測った上で音場をひとりひとりに最適化することで、例えば少し前めで聴こえていた音がちゃんと定位で聴こえる、というようになります。

WOWOW×ソニー それぞれの強みを掛け合わせて生み出した化学反応とは？

――今回、「360 Reality Audio」を実装した経緯について教えてください。ソニーさんのどういった部分に惹かれたのでしょうか？？

戸田：WOWOWでは6年ほど前から、3Dオーディオのコンテンツ開発に積極的に取り組んできました。そんな中で、ソニーさんの「360 Reality Audio」のデモをスタジオで聴く機会があり、音の空間表現力に感銘を受けました。

加えて、「360 Reality Audio」の特徴として、「ヘッドホンでどう聴こえるか？」という点を非常に大事にしながら技術開発されていて、そこがいちばん大きなポイントでした。WOWOWの配信サービスはヘッドホンで体験される方もいらっしゃると思いますので、ヘッドホンでいかにいい音を伝えられるか？ という点でWOWOWと非常にマッチしている技術だなと感じました。

音場の個人最適化に関しては、技術者目線、ガジェット好きの目線で、心くすぐられるものがありました。耳の写真を撮るだけで「360 Reality Audio」の体験が高まるというのは、面白い体験だなと思いますし、そうした"面白さ"というのも決め手の一つとなり、ぜひご一緒してみたいなと思いました。

――Labアプリの12月のスタートと同時に「360 Reality Audio」による立体音響コンテンツをローンチするというのは、当初から決まっていたんですか？

神保：まずLabアプリを始めようという企画があり、実験の第1弾として「360 Reality Audio」をやろうということが決まりました。企画からアプリ公開までは約1年でしたね。当初は、Labアプリという"場"だけを公開してしまって、その後、実験を追加していこうと考えていました。しかし、一般向けに公開するからにはお客様が喜ぶコンテンツを用意して使ってもらわなくては意味がない...ということで、「360 Reality Audio」を実装した上でローンチすることになりました。

アプリ開発とコンテンツ制作が同時進行！
初めて尽くしの中での試行錯誤

――開発の過程におけるWOWOW側のメンバーの役割分担、特に苦労された部分や工夫された点などについて教えてください。

神保：私はLabアプリのプロジェクトマネージャー/プロダクトマネージャーを担当していました。最終的には、先ほどお話ししたアジャイル開発というスタイルになりましたが、そもそもアプリ開発もしたことがないという状態からスタートしたので、チームづくりや進め方の部分に苦労がありました。

Labアプリ自体は必要最低限の機能にして、そこにさまざまな技術を加えていくという方針なので、今回のソニーさんとの「360 Reality Audio」や次に控えている実験も含めて、いろいろな会社さんに技術協力いただきながら作っています。我々で作っているアプリに、他社さんの技術をつなげるという点においても、苦労は多かったです。

蓮尾：苦労したことでいうと「初めてのことだらけだった」ということに尽きると思います（苦笑）。アプリ開発自体が初めてで、作法も進め方もわからない状態で、チームのメンバー全員が手探りで、かつ人数もそこまで多くないという状況でした。

私はソニーさんとのやりとりをメインで担当していたのですが、ソニーさんの中にも「360 Reality Audio」のコンテンツ制作を主にサポートしてくださる方もいれば、実装に当たってのプレーヤー担当の方もいました。一方、庄司さんとは契約まわりや広報に関してやりとりを進める等...多方面との向き合いはやはり大変でしたね。

神保：特に今回、機能を実装するための資料がほとんど英語だったので、そういうところも大変だったと思います。

蓮尾：そうですね。ソニーさんからいただいた資料はすべて英語でした。もちろん、私自身が実装をするわけではないのですが、ある程度の内容は理解して把握しておかなければならず、文書を読んでやりとりしました。

またLabアプリではiOS版とAndroid版それぞれ作っていますが、OSが違えば仕様も違ってきます。特にiOS版に関しては、「360 Reality Audio」の実装のために海外の会社が開発したSDK（ソフトウェア開発キット）を使う必要があり、英語のメールでやりとりして契約を結び、発注して...というのを一からやりました。その後の、組み込みの際の技術的なやりとりもすべて行ないました。

戸田：僕は主にコンテンツ制作を担当しました。今回、「360 Reality Audio」の"音"を作るということに関してそこまで経験値があるわけではなかったので、いま現在、コンテンツの開発ツールも随時アップデートしていっている状態です。ですので、僕もそれに追い付きながらコンテンツ制作について勉強を進めています。

――コンテンツの音に関しては、360度の天球で収録した音をそのまま流すというわけではないんですね？

戸田：収録した音は、いわば"点"の音源で、マイクで録ったそのままの音なんですが、それを一番いい状態で聴けるように配置していくという作業が必要です。またあまりに音が多すぎると聴こえづらくなるので、そのバランスを調整し、聴きやすい音に編集していきます。

――ソニーさん側はWOWOWからの提案をどのように受け止めたんでしょうか？ また開発の過程での苦労などについても教えてください。

庄司：このサービス自体は2019年から海外ではスタートしていて、日本国内でも2021年の4月からAmazon Music Unlimited、Deezer、nugs.netで音源を聴くことができるようになっています。
つまり音源だけをサブスクリプションサービスで楽しんでいただけるものとして提供していたんですが、映像を伴う形でのサービスで「360 Reality Audio」を提供するのは、今回が初めてで、そういう意味ではチャレンジでした。

通常は、ミュージックサービスさんでアプリを開発されて、コンテンツに関しては我々のほうでアーティストさんやレーベルさんをサポートして制作していく形なのですが、WOWOWさんはアプリだけでなくコンテンツも含めて自社で制作し、それを「360 Reality Audio」に合わせて聴けるサービスとして提供されるということで、前例もないことでした。今回視聴いただけるコンテンツの中で、T-SQUAREのライブコンテンツは、我々も音源のミックスをサポートし、提供したのですが、演奏曲によっては3バンド編成だったため、映像シーンごとに音の出位置の変化の幅が大きく、かつ視聴者が映像に目が行きがちなので、楽器隊の位置と違和感のない「360 Reality Audio」のミックスを心がけました。

映像も伴った制作を効率良く進められるフローを検討いただいたり、音場の個人最適化をたくさんのお客様に楽しんでいただくために、サービス開始時からiOS、Androidの両方に対応していただいたり、弊社エンジニアたちとも何度も議論を重ねながら日々改善の対応をしていただきました。限られた時間の中で一気に色々なことを進めなくてはいけなかったので、そのあたりは大変でした。

――実はWOWOWチームのメンバーと庄司さんが直接、顔を合わせるのが今日が初めてだと伺い、驚いているのですが、コロナ禍でリモートで進めていくという点に関しては大変だった部分はありましたか？

蓮尾：私はあまり不便さを感じなかったですね。もちろん直接お話したほうが早い場合もあるんですが、そういう時はオンラインの会議を設定すればいいだけのことですし、開発といっても直接的にモノを一緒に作るのではないので、不便を感じることはなかったかなという印象です。

神保：アプリ開発に関しても、リモートで問題なく進みました。私もアプリ開発のエンジニアさんとは一度もリアルでお会いしてないんですよね。

庄司：最初からこういう状況だったというのも大きかったと思います。まだ企画自体がスタートする以前、最初にデモの音源を聴きに来ていただいたのは2019年で、そのときは「『360 Reality Audio』って何？」ということを実際に体験していただく必要があったので、直接、お越しいただいて体験して...ということができて良かったのですが、いざ開発を進める段階になると、直接顔を合わせなくてもそこまでの苦労はなかったですね。

蓮尾：コンテンツ制作に関しても、「360 Reality Audio」はヘッドホンだけでミックスを完結させることも可能なんです。必ずしも3Dオーディオ用のスピーカーがないと作業を進められないというわけではないので、戸田さんも自宅で作業されていましたよね？

戸田：そうですね。自宅のMacBookで作業していました。

「360 Reality Audio」を活かして何をつくる？クリエイターの創作意欲を刺激するサービスに！

――「360 Reality Audio」をより深く楽しめる活用の方法、ジャンルや環境について教えてください。

蓮尾：コロナ禍の話がありましたが、なかなかライブに行けず、現地の"音"を体感できないという方にとっては、ライブ会場の音を再現し、その場に行っている感じを体感できるコンテンツになっているので、お楽しみいただけると思います。

これからチャレンジしたいのは、アーティストさんやクリエイターさんに「360 Reality Audio」の音を実際に聴いていただき、「この360度の空間で自分ならどんなものを作れるか？」と考えていただくことです。そこから一緒に新しい作品を作っていけたらいいですね。ライブ会場を再現するだけにとどまらず、ゼロから新しく作品を作ることでもっと発展させられると思います。

戸田：いま、映像コンテンツはものすごく増えてきています。我々のようなTV局や配信事業者が作るものから、YouTubeやTikTokのような誰もが作れるものまでたくさんあります。その中で、「360 Reality Audio」を通じて新しい切り口で作品をお届けすることができればいいなと思っています。蓮尾が言ったように、あたかも現場にいるような感覚、いま体験できなくなっているものを体感できる、そんなWOWOWにしかできないことを作ることができればと思います。

――WOWOWのコンテンツということで、音楽ライブとの親和性の高さはイメージしやすいですが、それだけでなく、幅広いジャンルで新しいものが生み出せそうですね。

戸田：音楽に限らないという意味では、例えばゾンビのドラマなんか面白いかなと思いますね（笑）。ドラマのストーリー展開に活用してもらっても面白いですし、いまアップしているコンテンツに花火があるんですけど、音によって伝わるものって音楽だけでなくいろいろあると思います。どんな音にこの「360 Reality Audio」がハマるのか？ 今後、探りながら新しいものを作っていけたらと思います。

蓮尾：最近、メディテーション（瞑想）がちょっとしたブームにもなっていますが、そこでヒーリングミュージックなどを使う方も多いと思います。そういう時、例えば森中で木々に囲まれているような体験をしてもらえれば、それだけで一つのコンテンツになりそうですね。

庄司：海外では、そうした分野の音楽がジャンル化されて1位を取ったりもしているらしいのですが、国内ではまだまだこれからの分野だと思います。先ほど話に出た花火が良い例ですが、WOWOWさんであればそこに映像を伴う形で提供していただけるので、「『360 Reality Audio』でこういう映像にこういう音をつけたら面白いんじゃないか？」という部分を新たに開発していただけるんじゃないかと期待しています。

――ソニーさんから見て、WOWOWの印象、ソニーにはないWOWOWの特徴として感じたことなどがあれば教えてください。

庄司：私は音楽をメインにコンテンツ制作をサポートしていますが、いま、制作しているほとんどの音源は、ポップスやロックといった、それぞれのレーベルさんとのお付き合いの中でできる楽曲です。ですので、WOWOWさんが映像を伴うさまざまなコンテンツを持たれているのは非常に大きいなと思っています。我々が作ったことのない、体験したことのない「360 Reality Audio」コンテンツについて、「こういうものがあったら面白いんじゃないか？」とWOWOWさんが発展性を持たせてくださるというのが、今後のステップとしても期待しているところです。

ご一緒させていただいての印象は皆さん、遊び心を持ちつつも非常にきっちりされているというところで、「楽しませよう！」というエンターテインメント性の部分を常に考えつつ、契約やコンテンツの制作の段取りといった部分に関しては、ものすごくきちんと丁寧に進めてくださるなと感じました。

蓮尾：そう言っていただけてありがたいです（笑）。

ユーザーのフィードバックを得ることによってできる"進化"

――ソニーさんとしては、12月のローンチ後の手応えはどのように感じていますか？ 新たな可能性として感じたことなどがあれば教えてください。

庄司：映像付きで「360 Reality Audio」を楽しんでいただいて、フィードバックをいただける機会というのが国内では非常に少なかったのですが、Labアプリではレーティングの機能も入れていただいているので、お客様の反応が非常に楽しみです。

コンテンツの幅を広げていくという点に関して、どういうふうに録ったらこういう音が作れるか？ 録る音に合わせて映像をどう作っていくか？ という点で、もし我々にサポートできるところがあれば、ぜひご一緒させていただいて、WOWOWのお客様に喜んでいただける「360 Reality Audio」コンテンツを作っていければと思っています。

――Labアプリの今後の展開についてもお聞かせください。

神保：庄司さんもおっしゃってくださったように、Labアプリの大きな特徴の一つに、利用者が各コンテンツに対して評価をしたり、コメントをすることができる機能があります。Labアプリは"実験場"であるというお話をさせていただきましたが、実験するだけでは意味がなく、そこで得られたユーザーからのフィードバックを活用することで、コンテンツやアプリの機能に磨きをかけていきたいと思っています。その上で、魅力的なサービスとなったものをWOWOWの配信サービスである「WOWOWオンデマンド」で提供できるようになればいいなと考えています。

――将来的には「WOWOWオンデマンド」への実装をという話が出ましたが、このアプリ自体で課金サービスにしてビジネスとして展開するという考えはないんですか？

神保：LabアプリはあくまでもWOWOWのサービスや付加価値の事前検証のための実験の場として作ったものですので、ここでの課金やマネタイズは考えてはいません。もし、お金を稼げるようなサービスを開発できるようになったら、それはLabアプリではなく、別の展開方法を考えることになると思います。

ちなみに今回の「360 Reality Audio」の次に何をするかですが、第2弾として、お客様が好きな視点を選んで映像を楽しめる自由視点映像の配信ができたらと考えており、準備を進めています。数カ月に一度くらいのペースでさまざまな実験を進めていけたらと思っています。


取材・文／黒豆直樹　 撮影／祭貴義道

2022年3月10日より、4DReplayを活用した360°好きな視点から映像を楽しめるコンテンツも配信しています。
自分の好きな角度から、気になる瞬間を、拡大・縮小しながら楽しむという、新しい体験ができます。
こちらから「WOWOW Labアプリ」をダウンロードいただき、ぜひお楽しみください！