ByteDanceが3Dアバター生成モデル「HeadGAP」を発表

ヘッドギャップとは何ですか？

HeadGAPは、ByteDanceと上海科技大学が共同開発した3Dアバター生成モデルです。少数の画像のみを使用して、リアルな3Dアバターを高速に生成します。大規模なマルチビュー動的データセットから得られる3Dヘッドの事前情報に基づき、事前学習とパーソナライズされた作成のフレームワークを採用しています。ガウススプラッティング自動復号ネットワークと部分動的モデリング、ID共有エンコーディング、パーソナライズされた潜在コードを組み合わせることで、HeadGAPはマルチビューの一貫性と安定したアニメーション効果を備えた、高忠実度でアニメーション可能な3Dアバターを実現します。

HeadGAPの主な機能

少数ショット学習ごく少数の画像（たった1枚でも）から、リアルな3Dアバターを作成できます。
高忠実度生成される3Dアバターは、写真のようにリアルなレンダリング品質を持ち、細部まで精緻に再現されています。
アニメーションの堅牢性アバターは視覚的にリアルなだけでなく、さまざまな表情や動きに合わせて滑らかに変化するアニメーション機能も備えている。
パーソナライズされたカスタマイズ事前の学習とパーソナライゼーションの段階を通じて、ユーザーの特定の特性に基づいたカスタマイズされた処理を実行することが可能になります。
多角的視点の一貫性プロフィール画像は、正面図、側面図、斜め図など、どの角度から見ても一貫性を保っています。

HeadGAPの技術原則

事前学習段階この段階では、システムは大規模なマルチビュー動的データセット内の3D頭部モデルを分析することにより、頭部の一般的な特徴と形状の事前情報を学習し抽出します。
ガウススプラッティングネットワークガウス分布に基づくオートデコーダーネットワークは、3D頭部データ分布をガウスプリミティブの集合として表現することができ、頭部の複雑な幾何学的構造を捉えることができる。
アイデンティティ共有コーディングとパーソナライズされた潜在的コードこの技術は、共有コーディングを用いて異なるアイデンティティ間で共通する特徴を学習すると同時に、各個人固有の属性を学習するために、各個人向けにパーソナライズされた潜在コードを生成している。
部分的な動的モデリングコンポーネントベースのモデリング手法を用いることで、アバターの様々な部分を動的に調整し、異なる表情や動きに適応させることができる。

HeadGAPのプロジェクトアドレス

プロジェクト公式サイト：headgap.github.io
GitHubリポジトリ：https://github.com/headgap/headgap.github.io
arXiv技術論文：https://arxiv.org/pdf/2408.06019

HeadGAPの使い方

データ準備対象人物の写真を数枚用意してください。写真は様々な角度から撮影しても構いません。HeadGAPは、複数の視点から人物の特徴を学習することができます。
画像をアップロードこれらの画像をHeadGAPシステムにアップロードしてください。アップロードは、公式サイトまたは提供されているAPIを使用して行うことができます。
事前学習このシステムは、アップロードされた画像を事前学習に利用し、大規模なマルチビュー動的データセットから3Dヘッドの事前情報を抽出します。
アバター作成学習済みの事前情報に基づいて、システムはアバター作成段階に入ります。この段階で、システムは初期の3Dアバターモデルを生成します。

HeadGAPの応用事例

バーチャルソーシャル仮想現実や拡張現実のソーシャルプラットフォームでは、ユーザーはHeadGAPによって生成された3Dアバターを自分の仮想アバターとして使用できます。
ゲーム開発ゲーム開発者はHeadGAPテクノロジーを利用して、ゲームキャラクター用のリアルな3Dアバターを作成し、ゲーム体験の没入感とパーソナライズ性を向上させることができます。
映画およびアニメーション制作映画やアニメーション制作において、HeadGAPはキャラクターの顔の特徴を生成または再構築することができ、よりリアルで生き生きとしたパフォーマンスキャプチャを実現します。
教育と訓練シミュレーション訓練や教育ソフトウェアにおいて、HeadGAPはリアルな仮想教師や生徒のアバターを作成し、学習体験を向上させるために使用できます。