【Unreal Engine×Sofdec事例インタビュー】バーチャルプロダクションでのMV撮影で求められる精緻な動画再生を実現

2022年1月に公開され、その再生数は125万にものぼるミュージックビデオ「飛翔するmeme」。
花譜さんとたなかさんが歌い、パフォーマンスを披露するこの動画には、CRIWARE（シーアールアイウェア）の動画技術が活用されています。製作したHibino VFX Studioに、メイキングと背景について伺いました。

【組曲】花譜×たなか #95「飛翔するmeme」【オリジナルMV】

―自己紹介と御社のご紹介をお願いします。

菊地：ヒビノ株式会社 菊地と申します。Hibino VFX Studioのマネージャーをしております。

渡邉：ヒビノ株式会社 渡邉と申します。主にdisguiseやUnreal EngineのVFXに関わる、技術的な部分を担当しております。

菊地：弊社スタジオは昨年7月にオープンしました。インカメラVFXに特化したバーチャルプロダクションスタジオを運用し、背景素材にUnreal Engineを使用したVFX撮影をしています。当部署ではLEDディスプレイをはじめとする大型映像機器を多く所有しておりまして、イベントやコンサートにおいて、機器を設置しオペレーションを担当するという業務を行っております。
他にも、音響・映像機器のセールスやコンサート音響サービスを担当している部署もあります。

Unreal Engineとメディアサーバーdisguise。今回使用した技術とは？

―今回の要となる技術、disguiseについても教えてください。

菊地：disguiseは1台で4Kを4つ出力できる「メディアサーバー」です。10年ほど前、「d3」と呼ばれるdisguiseの前身時代から、コンサートやイベントなどの大型ライブ案件の現場で、disguiseを用いて素材を送出していました。
disguiseは1台で4Kを4つ出力できるというメリットがあるため、大画面に対しての出力に優れています。

―disguiseという実態はLEDそのものというよりも、端末や機器を接続したメディアサーバーという認識が正しいのでしょうか。

菊地：そうですね。disguiseでは負荷分散も強みです。
複数のマシンで負荷を分散できるため、映像を滑らかに出力しやすくなります。

―Unreal Engineを活用した利点について教えてください。

渡邉：まず、Unreal Engineでのリアルタイムレンダリングのポテンシャルが非常に強かったことが挙げられます。
現実に近い光の反射を使った映像を、忠実な映像を確認しながら作ることができます。
もうひとつの利点は、disguiseがUnreal Engineの機能「nDisplay」をうまく活用してくれることです。

※「nDisplay」はUnreal Engineが提供するプラグイン。巨大な映像を分割し、複数のディスプレイへの出力を支援する機能。

渡邉：それらの利点が、コロナ禍においてのバーチャルプロダクションの取り組みとうまく一致したのかなと。
Unreal Engineの採用前は、主に2D環境で製作された映像のLED出力がメインでした。

―採用に関して参考にした事例はありましたか？

渡邉：「マンダロリアン」（※スター・ウォーズシリーズの一編であるテレビドラマ）です。

菊地：「マンダロリアン」で使用されていたROE Visual社のLED機材「BlackPearl 2」と同等のBlackOnyx2を弊社で所有しており、近い環境を作れたことが、採用テストをするきっかけとなりました。

―国内で同様の環境を構築し、試みをしている会社はありますか ？

菊地：一社ですべてをまかなえているところは少ないと思います。
disguiseを用いて撮影できるスタジオはいくつかありますが、大画面を使用したVirtual Productionとして運用している会社は国内にはないですね。

動画再生ミドルウェア「CRI Sofdec」を活用したMV製作と撮影

―今回の映像は、CRIWAREの映像再生用ミドルウェアSofdecを使用して製作されています。Sofdecを知ったきっかけはどのようなものでしたか。

渡邉：個人的にはゲームでよくロゴを見ていたのでCRIWAREの存在は知っていましたが、コーデックを扱っている会社だという認識は当初ありませんでした。Unreal Engineで動画を再生する手段を探っていくうち、CRIWAREのSofdecに行き着きました。

―ミドルウェアを探していたということは、従来のシステムでは表現において困っている部分があったということですか

渡邉：はい。ミュージックビデオという特性上、撮影中は途中から音楽を再生したり、それに合わせて動画も途中から呼び出す必要があります。しかし、当時使っていたシステムではシークがうまくできない、またFPSの向上が見込めず、LEDへ出力した際に映像がカクついてしまう問題がありました。それらを解消するための手段を探している状況でした。
システム上、ひとまず50fpsを目指していましたが、それに満たないと視覚的にもシステム的にも不具合が出てしまいます。
様々な動画変換形式でのテストがうまくいかないなか、Sofdecなら実現できそうだと。

―最終的に動画はどのような仕組みで作られましたか？

渡邉：ふたつの動画を重ねて再生することで奥行きのある独自の演出を実現しています。後ろのレイヤーでは背景となる動画を再生し、その前のレイヤーには歌詞動画をSofdecの機能で加算合成しました。
演者さんには、さらにその前で歌詞を背負ってパフォーマンスしていただきました。

―歌詞動画の加算合成は企画段階から行う予定でしたか？

渡邉：そもそもは透過情報を持つアルファ動画で合成しようとしていました。しかし検証していくうちにアルファ合成は処理が少し重いということが分かったため、負荷の少ない加算合成を使用しました。

―他にSofdecで使用した機能はありますか？

渡邉：disguiseを操作するためのブループリント（※Unreal Engineでプログラムを実行させるためのビジュアルスクリプト）を組んでいて、スイッチをオフにした時に動画の頭に戻り、オンすると任意の再生位置に飛ぶという機能を独自に作っていました。スイッチを使ってタイムラインを移動して任意の場所にシークする、というものです。
シーク後の遅延やカクつきがなかったので、リアルタイムな撮影を阻害することなく使用できたのが良かったです。

―MVの撮影にはシークが非常に重要だったということですね

渡邉：そうです。MVはいくつかのパートに分割して撮影していますので、欠かせない機能でした。

―Unreal Engine側で構成した処理はありますか？

渡邉：Unreal Engineの動きをdisguiseに特化させるためのスクリプトを組み込んでいます。
「RedSpy」というトラッキング機器の情報をdisguiseに送り、disguiseとUnreal Engineのカメラ位置を同期させていました。
CineCameraActor（※映像撮影用のカメラオブジェクト）をブループリントで制御し、ポストプロセス（Unreal Engineの映像補正機能）をかけています。

―Sofdecを使用した動画を実際に組み込む際に困ったこと、戸惑ったことはありましたか？

渡邉：動画を変換し、Unreal Engine上のタイムラインに組み込む過程では特に戸惑うことはなく、印象としては非常に使いやすかったです。他の動画コーデックを使う感覚とあまり変わらないですね。

他の映像ツールではどこから導入したらいいんだろう、という導線が分かりづらいものもありましたが、Sofdecは導入手順が分かりやすく、サポート対応の安心感も違っていました。

―今回導入にあたって、CRIWAREのサポートチームに対応を依頼したのはどんなことでしたか？

渡邉：動画のシーク機能において、どうブループリントを組んだらいいのかという相談をしました。
サポート相談からヒントを得て、プログラムや映像をさらに改良できた部分もあります。

―導入から収録にかかった時間はどれくらいでしたか？

渡邉：チーム内で、動画を変換するメンバー、プログラムを組むメンバーというふうに分担して製作を行いました。
一度か二度変換をかけてUnreal Engineに取り込めば、再生まで想定どおりの動きになりました。大きく困った部分はなかったため、撮影の流れを崩さずにワークフローが形成できました。

―撮影した映像はあとから編集や修正が加えられているのでしょうか？

渡邉：映像に手を加えるというものはなくて、インカメラVFXの利点として、撮影した段階でポストプロセス手前くらいの段階まで一気に完了できます。
たなかさんも背景の映像を確認しながら歌ったり、パフォーマンスしたりできるため、撮影側・演者さん共に作用し作品づくりのクオリティが上がっていると思います。

―演者さんも自分がどういう世界にいるかというのを感じながら撮影できるのが利点ですね

菊地：そうですね。おそらくそこがグリーンバックだと難しい課題になる場所だと思います。
撮影側としても演者さんの位置を確認しながらカメラアングルを決められる利点もあります。見たままに撮れるので、撮影後の作業も楽になっているはずです。

disguise、Sofdecを連携したシステム。今後の展望は？

―今回のMVに対して伺ってきましたが、今後このシステムを活用する構想はありますか？

渡邉：今まで使っていた2Dのレガシー素材をUnreal Engine上に配置すれば、カメラで覗いた際の奥行き、パース感が表現しやすくなるためまた新たな演出に使ってもらえるかと思います。
他にも背景反射が重要になる、車のプロモーションなどでも使用していただけます。
Unreal EngineでどうしてもFPSが伸びないという場合に、たとえば遠景だけを動画で処理するという軽量化ソリューションのひとつとしても有効です。

―近距離のオブジェクトをリアルタイムレンダリングで処理し、遠距離のものをプリレンダリングの動画におきかえる、という手法ですね。

渡邉：そうですね。実際の撮影でも背景の空などには静止画を使う事が多かったのですが、空を動画に変えることで雲などが動くといったリアル感が増してくるのではないかと思います。

菊地：各社様々な素材を保有しているかとは思いますが、どのようにUnreal Engine上の映像に持ってくるかが課題になってくると思います。
LEDディスプレイの環境は平面の映像とは違いRがついている（曲がっている）形になっているため、2D素材をそのまま貼り付けてもパースが合わなくなってしまいます。そういった場合にUnreal Engine上に配置し3Dデータとして扱ってあげることでパースをあわせ、正確な見た目を再現することが可能になります。

―Sofdecでは動画の結末を複数用意しておき、再生を分岐させる機能もありますよね。

渡邉：リアルタイムのライブ映像などで、様々な終わり方をするなどオーディエンスと連動した演出もできますね。
菊地：それは興味がありますね。
映像製作において実写の2D素材は必要になってくるため、LEDを用いた3DCGとの合成はどのような分野でも、必要になってくるものかと思います。
渡邉：こういったシステムはリアルタイムのコンサートでも活用されそうですし、軽量な高画質AR動画としても用途が広がっていきそうです。

―ありがとうございました。