project
AvatarGO - 南洋理工大学と上海AI研究所などが共同開発した、4D人間・物体インタラクション生成フレームワーク。
AvatarGOは、南洋理工大学S-Lab、上海AIラボ、香港大学が共同開発した革新的なフレームワークです。テキスト入力からアニメーション可能な4D人間・物体インタラクションシーンを直接生成するために使用されます。これはゼロショット技術によって実現されています。
AvatarGOとは何ですか？
AvatarGOは、南洋理工大学S-Lab、上海AIラボ、香港大学が共同開発した革新的なフレームワークです。テキスト入力からアニメーション可能な4D人間・物体インタラクションシーンを直接生成します。事前学習済みの拡散モデルに基づくゼロショット法を採用することで、大規模なインタラクティブデータの不足による、日常的な人間・物体インタラクションシーン生成における従来の手法の限界を克服しています。AvatarGOの主要機能には、Lang-SAMに基づいてテキストプロンプトから接触点を識別し、人間と物体間の空間的関係を正確に表現するLLM誘導型接触再配置、およびSMPL-Xの線形混合スキニング関数を使用してモーションフィールドを構築し、人間と物体のアニメーションを最適化し、侵入問題を軽減する対応関係を考慮したモーション最適化が含まれます。AvatarGOフレームワークは、さまざまな人間と物体の組み合わせや多様なポーズにおいて、優れた生成およびアニメーション機能を発揮します。
AvatarGOの主な機能
- テキストから4Dインタラクティブシーンを生成する簡単なテキスト記述に基づいて、人間と物体の相互作用を含む4Dアニメーションを直接生成できます。
- 人間と物体の接触を正確に表現する生成される3Dおよび4Dシーンにおいて、人体と物体（手、足など）との接触点を正確に特定し、人体と物体との空間的な関係が妥当であることを保証する。
- アニメーションにおける透過問題の解決アニメーション生成プロセスにおいて、人体が物体を貫通する現象は効果的に回避される。
- 多様な4Dアニメーション生成様々なキャラクターの動作やオブジェクトとの相互作用をサポートする、ダイナミックな4Dアニメーションを生成します。
- さまざまな文字やオブジェクトの組み合わせをサポートしますアニメキャラクターやスーパーヒーローなどの仮想キャラクターや実在の人物、さらには武器、道具、楽器などの様々な日用品を含む、様々なキャラクターやオブジェクトの組み合わせを処理できます。
AvatarGOの技術原則
- LLM誘導によるコンタクトレンズの再配置Lang-SAM（Language Segment Anything Model）は、テキスト記述から接触点（「手」など）を抽出します。3D人体モデルを2D画像にレンダリングし、テキストプロンプトと組み合わせることで、人体の接触点のセグメンテーションマスクを生成します。生成されたマスクは3Dモデルに逆投影され、オブジェクトの位置を初期化することで、オブジェクトと人体間の正確な接触点を確保します。
- 空間認識を伴う分留サンプリングSSDSを導入することで、人間と物体の相互作用（「持つ」など）に関連するテキストタグの注目度を高めることができ、拡散モデルが人体と物体の空間的な関係を理解するのに役立ちます。
- 対応関係を考慮したモーション最適化SMPL-Xモデルは、人体と物体両方のモーションフィールドを構築する中間モデルとして機能します。線形ハイブリッドスキニング（LBS）関数に基づいて、物体と人体の動きの同期を最適化します。人体と物体間の空間的なずれを最小限に抑え、アニメーション中に両者が互いにすり抜けないようにするため、対応関係を考慮した損失関数という新しい学習目標が導入されています。
- 拡散モデルに基づく3Dおよび4D生成：
- 3D生成DreamGaussian法を用いて、高品質な3D人体モデルおよび物体モデルが生成されます。生成された結果は、シーンの3Dガウス点群表現に基づき、分画蒸留サンプリング（SDS）を用いて最適化されます。
- 4Dアニメーション生成3Dモデルを基に、HexPlaneの機能とSMPL-Xモデルを用いて動的な4Dアニメーションを生成します。オブジェクトのグローバルパラメータ（回転や並進など）と人体の動きのシーケンスを最適化することで、一貫性のあるリアルな4Dアニメーションを実現します。
AvatarGOプロジェクトのアドレス
- プロジェクト公式サイト：https://yukangcao.github.io/AvatarGO
- GitHubリポジトリ：https://github.com/yukangcao/AvatarGO
- arXiv技術論文：https://arxiv.org/pdf/2410.07164
AvatarGOの応用事例
- バーチャルショッピングガイド店頭でお客様に商品情報や購入に関するアドバイスを提供する。
- 展示ホールガイド博物館や展示ホールで展示物や製品情報を紹介する。
- デジタルロビーマネージャー銀行または支店において、コンサルティングおよび指導サービスを提供する。
- 車載バーチャルアシスタント車内では、スマートアシスタントとして機能し、快適な会話やインタラクティブな体験を提供する。
- VR/ARコンテンツ制作仮想現実および拡張現実におけるキャラクターデザインやインタラクションデザインのための4Dアニメーションを生成します。