「Beat」を経て、さらなる高みを目指して企画された「Clap」

――前作の「Beat」はユーザーが自分の心臓の鼓動を主人公のロボットと共有することで、物語に命を吹き込む作品でしたが、本作におけるユーザー体験の核となる「手をたたくことで物語が進んでいく」というコンセプトはどのように生まれたのですか？

藤岡：伊東ケイスケ監督から"ハンドトラッキング（※）"を使って「手をたたく」というインタラクションで何か作りたいというお話がありました。そこから、それを自然に取り込んだストーリーはどういうものがいいか？ とアイデアを出し合っていきました。さらに具体的に、手をたたくと音が出るのでその音と音楽を組み合わせたものにしてはどうかという話になり、オーディオはWOWOWが力を入れている分野でもあるので、VRと音を組み合わせた作品にしようということになりました。

※ハンドトラッキングとは、本作品の対応デバイスである「Oculus Quest 2」に搭載されている機能。デバイスに設置されているカメラでとらえた体験者の手と指の映像をディープラーニング（深層学習）で解析し、位置などの情報を取得することで、VR空間でも体験者の手を認識することができ、VR空間での操作がコントローラーを使わずに自分の手を使って行なうことができる機能。

――インタビューを前に「Clap」を"体験"させていただき、映像や音のクオリティー、手をたたくことで物語を進めていくという楽しさを感じたのはもちろんですが、前作の「Beat」と同様、エンドロールに出てくるスタッフの人数の少なさに驚きました。このクオリティーの作品をこの小人数で作っているのかと......。

藤岡：伊東監督はもともとCGアニメーションを作られていて、独学でVRを勉強され、プログラミングもモデル制作も全部自分でできてしまうからこそ、この人数でやれています。ただ、今回は「Beat」よりもさらに進化させたいということもあって、新たに外部のスタッフにも入ってもらいました。というのも「Beat」のときに、海外メディアから"子ども向け"と評価されることが多かったんです。そこで、映画祭での受賞を目指すにあたってストーリーテリングの部分をより深いものにしたいと思い、WOWOW退職後に作家として活動をされたり、映画制作に関わられている中嶋雷太さんに参加してもらいました。また、今回は主人公がダンスをするので、振り付けの部分にコレオグラファーのYAMATOさんに入ってもらっています。

音響では、蓮尾にイマーシブサウンドデザイナーとして参加してもらい、さらにもうひとり、テクニカルサウンドデザイナーとして牛島正人さんにもサポートしていただき、チームは少しずつ大きくなっています。

――「Beat」制作時と比べて、作品制作における藤岡さんの役割で変わった部分などはありましたか？

藤岡：基本的に私がやっていることは同じで、企画を立ち上げ、その企画を会社で通した上で、基本的に作品を作るのは監督なので、監督が作るものをユーザーがどう感じるか？という部分で、ストーリーや体験を構築していくお手伝いをしました。

――「Clap」制作に蓮尾さんがイマーシブサウンドデザイナーとして参加された経緯について教えてください。

蓮尾：「3Dオーディオでやってみたい」という話を最初に藤岡さんからいただいて、私がチームに参加したのは2021年3月ごろでした。ただその時点で、目指しているヴェネチア国際映画祭への応募締め切り が 5月末だったので、まず3Dオーディオを導入できるかどうかの判断をするというところから始めて、そこからは急ピッチで進めていきました。

音楽レコーディングをしたのが4月半ばくらいで、そのレコーディングの段階では、3Dで音をどうつくるかといったことは全く決まっていませんでした。そもそも作曲家の方も3Dオーディオでの楽曲制作が初めてだったこともあり、「3Dオーディオというのはどういうものか？」というところから説明し、どういった作業が必要かということから話し合いをしていました。

藤岡：本当はもう少し早く入ってもらう予定だったんですが、そもそものストーリー作りに時間がかかってしまったんです。「Clapする（＝手をたたく）」というインタラクションを、体験者にとって違和感なく自然とやってもらえるようなストーリーを構成するのに苦労していました。音楽をつけるのはストーリー構成ができてからでないと入ってもらえないので、その分、音楽・音響チームに参加してもらうタイミングが遅くなりました。ヴェネチアの映画祭が終わったのが2020年9月で、そこからすぐにキックオフして、当初の予定では2020年12月までにストーリーを固めてということだったんですけど......（苦笑）。

蓮尾：そうなんですか!? 私が3月に入ってからも、まだ変更があったりしましたよね？ (笑)　

――「Clap」における 3Dオーディオの特徴、この作品ならではのオーディオの部分の聴きどころについて教えてください。

蓮尾："音楽"が3Dになっているというのが、新たな試みであり聴きどころだと思います。
そもそもVRやゲームの分野では3Dオーディオはよく用いられていて、例えばVRゲーム内で飛んでいるヘリコプターや鳥の"音"が動きに合わせて立体的に聴こえてくるというのは存在します。

ただ"音楽"をVRやゲームの世界の中で鳴らす場合には、ステレオ音声をそのまま鳴らすというものが多いです。つまり、ユーザーの頭の向きに合わせて聞こえる方向が変わらずについてくるということですね。環境音や話し声、効果音はゲーム内でユーザーが右を振り向けば、音が聴こえてくる位置も変わるのに、音楽は変わらずにずっと耳に張り付いているということがよくあります。そもそも音楽を動かす必要性はない、あくまでBGMとして鳴っていればいいと考える人が多いのかもしれません。

でも、この「Clap」という作品に関しては、ユーザーの没入感をより高めるために、すべての音をちゃんとユーザーの動きに合わせて聴こえてくるようにしていて、最初から3Dオーディオ向けにデザインして作りました。音楽以外にも、例えば物語の途中で泡がいっぱい出てくるというシーンがあるのですが、通常はステレオで済ませてしまう部分でも、3Dで泡の音を配置して作りました。こうしたことは、新しい試みだと思います。

チームが大きくなるほど難しくなるイメージの共有

――制作過程を振り返って、苦労された部分、本作を通じて得られた成果や手応えについて教えてください。

藤岡：先ほどもお話しましたが、最初のストーリー作りは毎回、大変な作業ですね。まず監督のやりたいことがあり、それを話してもらうのですが、その段階でおそらく、私は監督の言っていることの10分の1くらいしか理解・想像ができていないと思うんです。これまで誰も見たことがないものを作ろうとするときに、当たり前のことですが、全員で同じ脳を共有しているわけではないので、それぞれの想像で「私はこう思います」というふうになりますよね。そこで全員のイメージをどう共有し、ユーザー体験として違和感なく手を叩きたくなる作品をどう作り上げていくか？を考えることは、楽しくもあり、正直、ものすごく大変な部分でもありました。

伊東監督はこれまで基本的にひとりで作ってこられた方なので、チームの人数が多くなれば楽になるというわけではなく、逆に「任せる」というのも実はすごく大変なんです。チームを組むにせよ、そこには信頼関係の構築が必要になってくるので。そういう意味では蓮尾さんはスルっとスムーズに入ったよね（笑）？

蓮尾：そうですね（笑）。3Dオーディオ担当として入らせていただきましたが、逆に言うと3Dオーディオがわかる人間は私だけだったので、ある程度信頼していただけましたし、演出自体に関して私が大きく口を出すことはなかったので、スムーズに入れたのかなと思います。

苦労した部分で言うと、普段の作業とはやり方が全く違っていて、知らないことだらけだったのが大変でしたね。私は"放送局"の人間なので、普段はフルHDの画に合わせて音をどうやって作っていくかを考えます。レコーディングからミックス、仕上げまで責任もって行なうというプロセスで進めていくのに対して、VRの世界は考え方が全く違いました。

音楽と効果音を同時に鳴らす場合、普段は効果音も音楽もすべて一つに並べて調整するのですが、VR環境では効果音のデータと音楽のデータがそれぞれあって「効果音がこう動いて、ユーザーがこうやって動いたら、音もこう変わるので音量はどうするか？」といったことを柔軟に調整してく必要があります。今回の制作では、「ゲームであればこういうふうにします」とVRの音にお詳しい牛島さんに説明していただきながら進めました。最初は「3Dで音を作ればいいんでしょ？」と簡単に考えていたんですが（笑）、勉強させていただきました。

藤岡：そのほか技術面で苦労した点は、作品の容量制限です。当時ハンドトラッキングは「Oculus Quest 2」というデバイスにしか対応していなかったので、「Oculus Quest 2」のみで楽しんでもらえる作品なのですが、このデバイスは、ヘッドセット単体で動くものなので、パソコンほどCPUも高くないため、容量の軽い作品しか動かすことができません。一方、作り手としては、作品を良くするために、いろんな表現を検討するのですが、作品の演出を凝れば凝るほど容量は大きくなってしまうため、最終的には、表現を削っていく必要もありました。そのため、監督の当初思い浮かべていた演出から、諦めたことも多々あったのではないかと思います。そして、演出の変更により、ストーリーにも影響が出ることもあるので、作品完成までストーリーの微調整は常にありましたね。

――本作は、第78回ヴェネチア国際映画祭VR部門「Venice VR Expanded」に続いて、カンヌ国際映画祭併設マーケット「Marché du Film」のXR 部門にもノミネートされました。これらの評価をどのように受け止めていますか？

藤岡：海外で評価していただけるのはうれしいです。カンヌもヴェネチアも歴史ある映画祭ではありますが、VR部門に関しては走り出したばかりなので、どこまですごいのかというのが実感できない部分もあります。ですが、まだ市場ができ上がってない中で、主要な映画祭という場でそこに集まってくる皆さんに作品をお見せできる機会をいただけるのはありがたいですね。

従来のノウハウと組み合わせることで見えてくる新たな可能性！

――WOWOWがVR作品を手掛ける意義と今後の可能性についてはどのように感じていますか？

藤岡：そこもまだまだ足の長い話になりますが、WOWOWも「放送」から「配信」へと変わっていかなくてはいけない中で、配信コンテンツにおける"差別化"にはなるものだと思います。映像体験をより深くしていくための次世代のエンターテインメントとしてVRが来るだろうと、私はこの仕事をやっています。

2DからVR（＝360度の表現） になる時点で、「ユーザーに見せたいものを見せられない」という前提でコンテンツを作っていかないといけなくなります。2Dは見せたい場面をつないで作品を作ることができますが、VRでは、ユーザーは常に360度、自分の見たい方向を見るわけなので、前提が、映像の"視聴"ではなく空間の"体験"になるんです。そのため、2Dで作品を作っている監督がVRに合った作品をすぐに作れるか？というとそううまくはできないと思うので、そういう時代が来たときのためにコンテンツ作りのノウハウを蓄積していかないといけないと思っています。

――コンテンツ制作においては放送局の強みがあるかと思いますが、一方で、VR分野と高い親和性を発揮しているゲームの分野がないというのは、WOWOWにとっては"弱点"と言えるかもしれません......

蓮尾：むしろ、ゲームでしかVRを活かせていない業界全体の現状があるので、その中で、藤岡さんがずっとやってきた「ストーリーテリングでVRを楽しむ」という部分をさらに開拓していく意義は大きいと思います。

藤岡：いまからゲームに参入しても勝てないですからね。

蓮尾：WOWOWの既に持つストーリー制作などのノウハウについて、VR開発にも活かせる部分はあると思います。

――蓮尾さんは、VRと3Dオーディオという観点での今後の展望やWOWOWだからできる可能性についてどのようにお考えですか？

蓮尾：まさにいま藤岡さんの話にもありましたが、「コンテンツを作る」ということでいうと、いま放送局でコンテンツをバリバリ作っている人が、VRの特徴を活かしたコンテンツをすぐ作れるかというと意外と難しいと思います。HD映像とVRでは作り方もコンセプトの考え方も大きく異なるためです。他の放送局でそうしたノウハウを持っている人はまだ少ないと思うので、WOWOWがいち早くノウハウを蓄積していくのは非常に有益なことだと思います。そこは積極的にやっていきたいですね。

――最後にあらためて、いま注目していること、これからチャレンジしたいことを教えてください。

藤岡：メタバース空間の中での新しいコンテンツ作りをやりたいと考えていて、「体験によってより没入感を得られる」という部分と、「バーチャルの世界でコミュニケーションを楽しめる」という部分を大切にしたコンテンツを作っていきたいなと思っています。メタバース空間に関しては、xR業界の中でもまだまだ黎明期ですが、WOWOWもコミュニティ化を目指し、ユーザーとのエンゲージメントをより深くしていくための"場所"を広げてく必要があると思うので、メタバース空間で何ができるのか？ということは考えていきたいです。

あとはAR（拡張現実）にも挑戦したいと思っていて、「飛び出す絵本」をARで作れないかと考えています。スマホをかざすことで、絵本の世界がデジタル空間に広がり、子どもたちがいままでと違った絵本の楽しみ方ができるようなコンテンツが作れたらいいなと思っています。

蓮尾：VRで他人との合奏やカラオケができないかな？と考えています。「Clap」を通じて体感していただいたかと思いますが、手を叩いて音がするまでほんのわずかに時差があるんです。あのくらいの遅延があると、リアルタイムで合奏はできないんですね......。

パソコンと専用の回線を使えば可能なツールは既にあるんですけど、VRデバイスではまだ難しいのかなと感じています。VRデバイスをつないだだけで、自分の持っている楽器と他の人の持っている楽器の音声が簡単につながって練習できたり、ライブまでできるようになったら面白いなぁと思っています。5Gのもう一つ先まで出てきたら、そういった遠隔合奏まで可能にならないかなぁとなんとなく期待しています。さらにTV収録システムなどにも活用できるようになったらいいですね。

WOWOW Labサイト： https://corporate.wowow.co.jp/wowowlab/

取材・文／黒豆直樹 　撮影／曽我美芽