UniTalker - SenseTime社製、音声駆動型3D顔アニメーション生成モデル

UniTalkerとは何ですか？

UniTalkerは、入力音声に基づいてリアルな顔の動きを生成できる、音声駆動型の3D顔アニメーション生成モデルです。異なるアノテーションを含むデータセットを備えた統一されたマルチヘッドアーキテクチャモデルを採用し、多言語や音声、歌など様々な種類の音声に対応しています。明瞭な人間の声でも、ノイズの入った歌声でも、UniTalkerは高い精度で処理します。UniTalkerは、再設計を必要とせずに複数のキャラクターの顔の動きを同時に生成できるため、非常に柔軟で便利です。

UniTalkerの主な機能

• 音声連動型3D顔アニメーションUniTalkerは入力された音声に基づいてリアルな3D顔の動きを生成し、仮想キャラクターの表情や唇の動きを音声と同期させることができます。
• 複数の言語と複数の音声フォーマットに対応しています。UniTalkerは、様々な言語の音声や様々な種類の音声ファイルを処理できるため、国際的なアプリケーション環境で特に役立ちます。
• 統一モデルアーキテクチャUniTalkerは、統一されたマルチヘッドアーキテクチャモデルを採用しており、単一のフレームワーク内で複数の異なるデータセットとアノテーションタイプを同時に処理できるため、モデルの汎用性と柔軟性が向上します。
• トレーニングの安定性と一貫性UniTalkerは、主成分分析（PCA）、モデルのウォームアップ、ハブアイデンティティ埋め込みなどのトレーニング戦略を採用することで、トレーニング中の安定性を向上させ、マルチヘッド出力間の一貫性を確保します。

UniTalkerの技術原理

• マルチヘッドアーキテクチャモデルUniTalkerは統一されたマルチヘッドアーキテクチャ設計を採用しており、さまざまな3D顔アニメーションのニーズに対応するため、異なるアノテーションを持つデータセットで学習されています。
• トレーニング戦略トレーニングの安定性を向上させ、マルチヘッド出力の一貫性を確保するために、UniTalkerは主成分分析（PCA）、モデルのウォームアップ、ハブアイデンティティ埋め込みという3つのトレーニング戦略を採用しています。
• 大規模データセット研究チームは、公開されている5つのデータセットと新たに収集した3つのデータセットを含むベンチマークであるA2F-Benchを構築し、トレーニングデータの規模と多様性を拡大するとともに、多言語の音声と歌を網羅した。
• オーディオエンコーダーUniTalkerは、音声エンコーダーを使用して入力音声を文脈に応じた音声特徴量に変換し、その後の顔の動き生成の基礎を提供します。

UniTalkerのプロジェクトアドレス

• プロジェクト公式サイト：https://x-niper.github.io/projects/UniTalker/
• GitHubリポジトリ：https://github.com/X-niper/UniTalker
• arXiv技術論文：https://arxiv.org/pdf/2408.00762

UniTalkerのアプリケーションシナリオ

• アニメーション制作UniTalkerは、入力された音声に基づいてリアルな3D顔の動きを生成し、アニメーションキャラクターに豊かな表情と唇の動きを与えることができます。
• バーチャルリアリティ（VR）仮想現実環境において、UniTalkerは音声コマンドに基づいて対応する顔の動きを生成し、没入感を高めることができる。
• ゲーム開発UniTalkerは、ゲーム内のノンプレイヤーキャラクター（NPC）の自然な表情や動きを生成することができ、ゲームのインタラクティブ性とリアリティを高めます。
• 言語学習UniTalkerは、特定の言語における唇の動きや表情を生成することができ、学習者が発音や表情を模倣し、言語学習の効果を高めるのに役立ちます。
• 多言語対応UniTalkerは中国語を含む複数の言語での音声入力をサポートしているため、国際的な場面にも適しています。