Live Link Face [iPhone]

Unreal Engine でのフェイシャル アニメーションの作成を支援する Live Link Face アプリ — MetaHuman Animator のパフォーマンスをキャプチャして、結果を最高レベルの忠実度に引き上げたり、ライブ パフォーマンスに向けて、フェイシャル アニメーションを iPhone または iPad からリアルタイムでストリーミングしたりできます。

MetaHuman Animator のフェイシャル パフォーマンスをキャプチャする

- MetaHuman Animator では Live Link Face を使用して iPhone でパフォーマンスをキャプチャし、独自の処理を通じて高忠実度のフェイシャル アニメーションを MetaHumans 向けに作成します。
- Live Link Face iOS アプリでは生の動画と深度データをキャプチャします。それらの情報はデバイスから Unreal Engine に直接転送されて、MetaHuman プラグインで使用されます。
- MetaHuman Animator で作成したフェイシャル アニメーションは、わずか数回のクリックであらゆる MetaHuman キャラクターに適用することができます。
- このワークフローには、iPhone (12 以降) と Windows 10/11 を実行するデスクトップ PC に加えて、Unreal Engine 向けの MetaHuman プラグインが必要です。

ライブ パフォーマンスのリアルタイム アニメーション

- ネットワークに接続された Live Link を介して、ARKit アニメーション データをライブで Unreal Engine のインスタンスにストリーミングします。
- Unreal Engine のライブ レンダリング機能により、フェイシャル表現をリアルタイムで視覚化します。
- フォン デバイスでビデオ参照に任意にオーバーレイされた 3D プレビュー メッシュを実行します。
- 生の ARKit アニメーション データと前向きのビデオ参照フッテージをレコーディングします。
- キャプチャ データを個別のパフォーマーに向けて調整し、レスト ポーズのキャリブレーションによってフェイシャル アニメーションの品質を向上します。

複数デバイスの同期に向けたタイムコードのサポート

- iPhone のシステム クロックまたは NTP サーバーから選択するか、Tentacle Sync を使用して、ステージのマスター クロックと接続します。
- ビデオ参照は、編集用にタイムコードが埋め込まれたフレーム アキュレートなものです。

Live Link Face は OSC でリモート制御するか、Unreal Engine の MetaHuman プラグインを介して制御します。

- レコーディングを外部でトリガーすることで、アクタは自身のパフォーマンスに集中できます。
- スレート名とテイク番号を一貫した形でキャプチャします。
- 処理とストレージのためにデータを抽出します。

キャプチャされたテイクのライブラリをブラウズして管理する

- Live Link Face 内でテイクを削除して、AirDrop を介して共有します。
- MetaHuman Animator の使用時にネットワークを介して直接転送します。
- キャプチャした動画をフォン デバイス上で再生します。