AB
AB
AiBoss

すべてのカテゴリ

project

GAS - カーネギーメロン大学が上海AIラボなどと共同で開発した、単一画像から3D人体フレームを生成する製品。

GAS（Generative Avatar Synthesis from a Single Image）は、カーネギーメロン大学、上海人工知能研究所、スタンフォード大学の研究者らが提案した技術で、1枚の画像から高品質で視点指向のアバターを生成するものです。

GASとは何ですか？

GAS（Generative Avatar Synthesis from a Single Image）は、カーネギーメロン大学、上海人工知能研究所、スタンフォード大学の研究者らが提案したフレームワークで、1枚の画像から高品質で視点の一貫性があり、時間的に整合性のある仮想アバターを生成することを目的としています。GASの中核は、回帰型3D人体再構成モデルと拡散モデルの利点を組み合わせることにあります。3D人体再構成モデルに基づき、1枚の画像から中間的な視点またはポーズを生成し、ビデオ拡散モデルへの条件付き入力として使用することで、高品質な視点の一貫性と時間的な整合性を実現します。このフレームワークでは、視点合成とポーズ合成のタスクを区別するための「モードスイッチャー」を導入し、生成結果をさらに向上させています。

GASの主な機能

  • 一貫した視点によるマルチビュー合成1枚の画像から高品質なマルチビューレンダリングを生成することで、異なる視点間でも外観と構造の一貫性を確保します。
  • 連続的な動的ポーズアニメーション与えられた一連のポーズから、滑らかでリアルな非剛体変形アニメーションを生成し、動的なポーズの連続性を実現します。
  • 統一された枠組みと一般化能力目標は、視点合成と姿勢合成のタスクを統合し、モデルパラメータを共有し、大規模な実データ（オンラインビデオなど）で学習させることにより、モデルの実世界シーンへの汎化能力を向上させることです。
  • 濃密な外観の手がかり3D再構成モデルに基づいて生成された高密度な情報は、生成される結果の外観と構造の忠実度を高めるための条件付き入力として使用されます。

GASの技術原理

  • 3D人体再構成と高密度条件付き信号GASはまず、入力画像から回帰型3D人体再構成モデル（例えば、単一視点汎用人体NeRFなど）に基づいて中間的な視点や姿勢を生成します。入力画像を標準空間にマッピングして再配置することで、高密度な外観情報が生成されます。この高密度情報は条件付き入力として機能し、後続の拡散モデルに豊富な詳細情報と構造情報を提供することで、生成される結果の高品質と一貫性を保証します。
  • 動画拡散モデルと統一フレームワーク生成された中間的な視点またはポーズは、ビデオ拡散モデルへの条件付き入力として使用され、高品質な視点の一貫性と時間的な整合性を備えたアニメーションを生成します。GASは、視点合成とポーズ合成のタスクを統合し、モデルパラメータを共有し、ポーズ合成から視点合成への自然な一般化を実現する統一フレームワークを提案します。
  • モード切替器視点合成と姿勢合成のタスクを区別するために、GASはモード切り替えモジュールを導入しています。このモジュールにより、ネットワークは視点生成時には一貫性を重視し、姿勢生成時にはリアルな変形を重視できるようになります。
  • 実世界データの一般化能力GASは、大規模な実世界の動画（オンライン動画など）を学習データとして取り入れることで、実世界のシーンへの汎化能力を大幅に向上させています。多様なデータソースを用いることで、モデルは様々な照明条件、服装、動作状況に適応することが可能になります。
  • 訓練と推論GASの学習は2つのフェーズに分かれています。まず、3D人体再構成モデルを学習し、次にそのモデルを固定してビデオ拡散モデルを学習します。推論時には、タスクの性質（視点合成または姿勢合成）に応じて、異なる分類器フリーガイド（CFG）戦略が使用されます。

GASプロジェクトの住所

GASの応用シナリオ

  • ゲームとバーチャルリアリティ（VR）GASは、1枚の画像から高品質な仮想アバターを生成することができ、複数の視点や動的なポーズの整合性のある合成をサポートします。
  • 映画およびテレビ制作映画やテレビの特殊効果およびアニメーション制作において、GASはリアルな仮想キャラクターを迅速に生成できるため、従来のモデリングおよびアニメーション制作にかかる時間とコストを削減できます。
  • スポーツとフィットネスGASは、単一の画像から動的な仮想アバターを生成することで、パーソナライズされたモーションアニメーションを作成し、アスリートの動きの分析やフィットネスアプリケーションでの利用に役立てることができます。
  • ファッションと服飾デザインGASは、さまざまなポーズや視点を持つ仮想アバターを生成することができ、デザイナーが衣服の効果を素早くプレビューし、デザイン効率を向上させるのに役立ちます。
戻る