SyncAnimation - SUSTechなどが開発した、リアルタイムの音声駆動型頭部動作生成フレームワーク。 - AiBoss

SyncAnimationとは何ですか？

SyncAnimationは、人間のポーズや発話時の頭部アニメーションを生成するための、リアルタイムかつエンドツーエンドの音声駆動型フレームワークです。上半身のポーズや表情（唇の動きを含む）を音声信号とリアルタイムで同期させ、高精度かつ高度に同期したアニメーション効果を実現します。NeRF技術をベースとしたこのフレームワークは、音声とポーズの同期モジュールと表情の同期モジュールを組み合わせることで、単眼画像やノイズの多い入力からでも、非常に詳細な頭部アニメーションを生成できます。リアルな顔のディテールと自然な動的な変化を生成しながら、滑らかなアニメーションを維持します。

SyncAnimationの主な機能

音声駆動型リアルタイムレンダリングNeRFベースのエンドツーエンドフレームワークに基づいて、音声信号からリアルタイムで話すアバターと上半身の姿勢を生成することができ、「ワンショット」と「ゼロショット」の2つの推論方法をサポートしています。
高精度な姿勢と表情の生成AudioPose SyncerモジュールとAudioEmotion Syncerモジュールは、音声から頭部の姿勢や表情への安定した、正確で制御可能なマッピングを可能にし、音声に同期した上半身、頭部、唇の形状を徐々に生成します。
シームレスな融合と同期レンダリング高同期ヒューマンレンダラーモジュールは、頭部と上半身のシームレスな統合を保証し、後処理なしで音声に同期した唇の動きを可能にします。
身元情報と詳細を維持する沈黙の間も、表情や上半身の動きに一貫性を保ちつつ、キャラクターの身元情報や顔の細部を保持することができる。
高いリアルタイム性能NVIDIA RTX 4090 GPU上では、SyncAnimationは最大41 FPSの推論速度を実現し、上半身と頭部の動きを同期させた音声をリアルタイムで生成する初の方式となった。

SyncAnimationの技術原理

AudioPose SyncerAudioPose Syncerは、音声信号を動的な頭部姿勢にマッピングする役割を担います。音声特徴抽出と姿勢予測ネットワークを通して、音声と同期した頭部姿勢オフセットを生成し、逆正規化によって元の空間における姿勢パラメータに変換します。これにより、音声との頭部姿勢の安定性と一貫性が確保され、無音時でも自然な頭部の動きが維持されます。
AudioEmotion SyncerAudioEmotion Syncerは、音声と同期した顔の表情生成に特化しています。眉の動きや瞬きといった細部を含む音声の特徴に基づいて顔の表情の変化を制御し、自然な感情表現を実現します。音声の特徴と予測係数を組み合わせて表情の変化を制御し、暗黙的な関数を用いてリアルな頭部アニメーションを生成します。
高同期ヒューマンレンダラーこの機能は、頭部と上半身の動きをシームレスに統合し、音声と同期した唇の動きを実現する役割を担います。レンダリング処理を最適化することで、生成されたアバターが音声と視覚的に高度に同期すると同時に、キャラクターの識別情報や顔のディテールが保持されるようにします。

SyncAnimationプロジェクトのアドレス

プロジェクト公式サイト：https://syncanimation.github.io/
GitHubリポジトリ：https://github.com/syncanimation
arXiv技術論文：https://arxiv.org/pdf/2501.14646

SyncAnimationの応用シナリオ

バーチャルアンカーとライブストリーミングSyncAnimationは、音声とリアルタイムで高度に同期した仮想キャラクターアニメーションを生成できるため、ニュース放送やライブ授業などの場面に適しています。上半身の姿勢や頭の動きを直接レンダリングできるため、従来の方式のように頭部を体に貼り付けるような不自然な印象を与えることがありません。
ビデオ会議とリモートコラボレーションビデオ会議において、SyncAnimationはオーディオドライバーを介してリアルな仮想アバターを生成し、ネットワーク帯域幅が制限されている場合でも高品質な視覚効果を維持します。
アニメーション制作と視覚効果音声信号を用いてキャラクターの表情や姿勢のアニメーションを素早く生成することで、アニメーション制作における制作効率を向上させることができます。また、映画やテレビの特殊効果におけるキャラクターアニメーションの生成にも活用でき、より自然でダイナミックな効果を実現します。
ゲーム開発ゲーム開発において、SyncAnimationはNPC（ノンプレイヤーキャラクター）のリアルタイムアニメーションを生成するために使用でき、NPCの動きや表情をよりリアルに表現できます。これにより、ゲームへの没入感とプレイヤー体験が向上します。
インテリジェントな顧客サービスとバーチャルアシスタントSyncAnimationを使用すると、仮想のカスタマーサービス担当者やアシスタントのアニメーションアバターを生成できます。これらのアバターは、ユーザーとやり取りする際に、より自然な表情や姿勢を示します。