ExAvatar - Meta社が開発した3Dデジタルアバター生成モデル

ExAvatarとは何ですか？

ExAvatarは、DGISTとMetaのCodec Avatars Labが共同開発した3Dデジタルアバター生成モデルです。短い動画から人物の画像をクローンし、3Dデジタルアバターに変換します。スマートフォンのスキャン機能により、全身の動きや表情を高速にキャプチャし、リアルな3Dモデルに変換します。ExAvatarは、SMPL-Xモデルと3Dガウス技術を組み合わせることで、高品質な動的レンダリングを実現し、全身アニメーションをサポートし、アーティファクトを低減し、自然で滑らかな体験を提供します。アニメーション、ゲーム、VR/AR分野に適しており、3Dアバター作成プロセスを簡素化し、その応用範囲を広げます。

ExAvatarの主な機能

• 全身3Dドライビング体、手、顔を含む全身の動きや表情のアニメーションをサポートします。
• ハイブリッド表現3Dガウス分布とサーフェスメッシュ技術を組み合わせることで、幾何学的形状と外観の一貫性が向上し、アニメーションにおけるアーティファクトが低減されます。
• 便利な撮影スマートフォンでスキャンするだけで、簡単に3Dアバターを作成できます。とても簡単です。
• 高品質レンダリング高度なアルゴリズムを活用し、動的なパフォーマンスと視覚効果の高品質なレンダリングを実現します。
• 技術最適化SMPL-Xモデルと多層パーセプトロン（MLP）処理により、手と顔の表現力と自然さを最適化します。

ExAvatarの技術原則

• SMPL-X全身パラメトリックメッシュモデルExAvatarは、SMPL-Xモデルを使用して人間の姿勢や動きを捉えます。SMPL-Xは、様々な人間の姿勢を正確にシミュレートできる、高度にパラメトリックな3D人体モデルです。
• 3Dガウス型スパッタリング技術（3DGS）レンダリングのリアリティと効率性を向上させるために用いられる3Dモデルは、表面における光の散乱をシミュレートすることで、よりリアルに見えるようになる。
• ハイブリッド表現ExAvatarは、3Dガウスメッシュとサーフェスメッシュを組み合わせることで、さまざまなポーズ間で形状と外観の一貫性を確保し、新しいポーズで発生する可能性のあるアーティファクトを低減します。
• 多層パーセプトロン（MLP）これは、各ガウス分布の特徴を処理し、重要な情報を抽出し、この情報を標準グリッドと組み合わせて、標準空間でアニメーション可能な3Dアバターを形成するために使用されます。
• 線形ハイブリッド補間（LBS）アルゴリズムアニメーション処理に使用されるExAvatarは、このようにして滑らかで自然なトランジションを生成することができる。
• 関節オフセットと顔面オフセットExAvatarのトレーニングを行う前に、研究チームは身体、手、顔の同時位置合わせを行い、これらのオフセットを導入することで、手の骨の長さと顔の形状を最適化し、アバターの表現力と自然さを向上させた。
• 接続ベースの正則化器事前定義された接続性によって3DガウスメッシュがSMPL-Xメッシュトポロジーと一致するようにすることで、新しい表情やポーズにおけるアーティファクトを低減します。

ExAvatarのプロジェクトアドレス

ExAvatarの応用事例

• 3Dアニメーション制作アニメーターはExAvatarを使用して、アニメーション映画、テレビシリーズ、短編映画の制作に使用するリアルな3Dキャラクターを迅速に作成できます。
• ゲーム開発ゲーム開発者は、ExAvatarテクノロジーを使用して、ゲームキャラクターのダイナミックな全身の動きや表情をデザインすることができ、ゲーム体験を向上させることができます。
• バーチャルリアリティ（VR）VR環境では、ユーザーはExAvatarを使用して独自の3Dアバターを作成し、没入感のある体験を得ることができます。
• 拡張現実（AR）ExAvatarは、ソーシャルメディア、広告、教育アプリケーションなどにインタラクティブ性を追加するなど、ARアプリケーションで使用できます。
• 映画の特殊効果映画の特殊効果アーティストは、ExAvatarテクノロジーを使用して俳優の動きや表情をキャプチャし、後の特殊効果制作に活用することができる。