「ADX LipSync V」ってなぁに？

CRI開発のかむろです。

「ADX LipSync V」は、リップシンクミドルウェアである「ADX LipSync」の非ゲーム向けプランです。
名前に「V」とある通り、例えば皆さん大好き「バーチャルYoutuber(Vtuber)」の口パクにも
ご利用いただけます。

これまでにニュースリリースや製品説明で情報公開してきましたが、具体的にどんなことができるのか、
試用申し込みしてSDKパッケージを手に入れるまでは謎に包まれていました…

本記事では、「ADX LipSync V」Unityプラグインがどんなもので、何ができるのかをご紹介します。

使い方

CRIWARE UnityプラグインとADX LipSync Vプラグインをインポートすれば準備OKです。
Unity Editor上での操作と動き方は次の動画をご確認ください。

コンポーネントを追加して、モデルのブレンドシェイプと出力パラメーターを紐づけます。
実行してマイクにしゃべるとバッチリ口パクしてくれます。楽勝ですね！

「ADX LipSync」の解析結果である口の形状(幅、高さ、舌の高さ)と日本語5母音ブレンド量を
取得し、かんたんにモデルのブレンドシェイプに適用できます。

便利機能

上記の通り、プログラムレスでマイク入力での口パクが実現できるほかにも、
便利な機能がたくさんあります。

マイクデバイスの操作

マイク入力モジュールとして、CRIWARE Unity Plug-inのCriAtomExMicを利用しています。
CriAtomExMicには便利な機能がいろいろと用意されているので、例えばひとつのマイクデバイスの
複数チャンネルを同時に解析して、異なるモデルを操作できます。

また、複数のマイクデバイスに同時に接続することもできます。
システムデフォルトのデバイスでない場合はちょっとスクリプトを書く必要がありますが、
皆さんなら楽勝です！SDKパッケージにサンプルもご用意しています。

AudioSource対応

「ADX LipSync Library」は、ADX2の音声再生コンポーネントであるCriAtomSourceと連携して
簡単に口パク解析ができました。
「ADX LipSync V」では、Unity AudioSourceで再生した音声を解析する機能を用意しています。
すでにUnity標準のオーディオを利用して組んでいるアプリケーションでも、簡単に口パク機能を
取り込むことができますね。
より凝った音声演出を盛り込みたい場合は、もちろんADX2のご利用をオススメします！

以上、「ADX LipSync V」のご紹介でした。
ご興味を持たれた方は、ぜひ試用申し込みにご連絡ください！