AB
AB
AiBoss

すべてのカテゴリ

project

FaceLift - Adobeがカリフォルニア大学と共同開発した、単一画像から3Dヘッドモデルを生成する技術。

FaceLiftは、Adobeとカリフォルニア大学マーセド校が開発した、単一画像から3D頭部モデルを作成する技術です。1枚の顔画像から360度の頭部モデルを再構築できます。FaceLiftは2段階のプロセスに基づいています。…

フェイスリフトとは何ですか？

AdobeとUC Mercedが開発したFaceLiftは、1枚の顔画像から360度全方位の頭部モデルを再構築できる、単一画像から3D頭部モデルへの変換技術です。FaceLiftは2段階のワークフローに基づいています。まず、拡散ベースのマルチビュー生成モデルが、1枚の顔画像から一貫した側面図と背面図を生成します。次に、生成されたビューをGS-LRM再構成器に入力し、詳細な3Dガウス表現を生成します。FaceLiftは個々の特徴を正確に保持し、精緻な幾何学的およびテクスチャの詳細を備えた3D頭部モデルを生成します。FaceLiftは4D新規ビュー合成のためのビデオ入力をサポートし、2D顔面再アニメーション技術とシームレスに統合して3D顔面アニメーションを実現できます。

フェイスリフトの主な機能

  • 単一画像による3D頭部再構築顔や髪の毛の細かい部分を含め、1枚の顔画像から360度全方位の3D頭部モデルを迅速かつ効率的に再構築できます。
  • 複数ビューの一貫性生成された3Dモデルは、異なる視点から見ても一貫性を保ち、どの角度から見ても高品質なビジュアルを保証します。
  • 身元保護再構築プロセスにおいて、個人のアイデンティティ特性は正確に保持され、目に見えないビューを生成する場合でも、高いレベルのアイデンティティの一貫性が維持される。
  • 4D新視点合成ビデオ入力に対応し、4D新視点合成を可能にし、時間経過とともに一貫性のある3Dモデルを生成し、動的なシーンに適しています。
  • 2Dリアニメーション技術との統合2D顔面アニメーション技術とシームレスに統合することで3D顔面アニメーションを実現し、デジタルエンターテインメントやバーチャルリアリティアプリケーションをサポートします。

フェイスリフトの技術的原理

  • マルチビュー拡散モデル：
    • 入力処理この手法は、画像条件付き拡散モデルに基づいており、正面からの単一の顔画像を入力として使用し、側面図や背面図など、複数の視点からの画像を生成します。
    • 拡散モデルコアStable Diffusion V2-1-unCLIPモデルを使用すると、CLIP画像エンコーダによって生成された埋め込みが条件信号として使用され、生成された画像の同一性の一貫性とマルチビューの一貫性が保証されます。
    • マルチビュー注意機構マルチビューアテンションメカニズムに基づき、このモデルは異なるビュー間で情報を共有することで、複数の視点にわたって一貫性のあるRGB画像を生成します。
  • GS-LRMリコンストラクター：
    • 入力融合生成されたマルチビュー画像とそれに対応するカメラ姿勢は、GS-LRMモデルに入力され、詳細な3Dガウス表現が生成されます。
    • 3Dガウス表現3Dガウス分布を基本表現として使用することで、髪の毛など、人間の頭部の複雑なディテールを捉えるのに特に適しています。各2Dピクセルは3Dガウス分布に対応し、そのパラメータにはRGBカラー、スケール、回転クォータニオン、不透明度、レイ距離などが含まれます。
    • コンバーターアーキテクチャGS-LRMは、トランスフォーマーアーキテクチャを採用し、一連のポーズ画像からピクセル位置合わせされた3Dガウス分布を回帰することで、詳細な3Dモデルを生成します。
  • 最適化と評価：
    • 損失関数トレーニング中、生成された3Dモデルが実際の画像と視覚的に非常に高い一致性を持つように、MSEと知覚損失を組み合わせてモデルが最適化されます。
    • 評価指標再構成の品質は、PSNR、SSIM、LPIPS、DreamSimなどの標準的な指標を用いて評価され、本人確認の精度はArcFaceに基づいて評価された。

FaceLiftのプロジェクト住所

フェイスリフトの応用事例

  • 仮想現実（VR）と拡張現実（AR）リアルな3D仮想キャラクターを作成し、没入感のある体験を提供し、リアルタイムのインタラクションをサポートします。
  • デジタルエンターテインメント映画、テレビ、ゲーム開発、アニメーション制作で使用する高品質な3Dキャラクターモデルを生成し、制作効率と品質を向上させます。
  • 遠隔存在システムビデオ会議やリモートコラボレーションにおいて、ユーザーを3Dで表示することで、コミュニケーションの自然さと没入感を高めることができる。
  • ソーシャルメディアとコンテンツ制作パーソナライズされた3Dアバターを生成し、コンテンツクリエイターがクリエイティブなコンテンツをより豊かにするためのツールを提供します。
  • 医療と教育医療教育、仮想手術シミュレーション、文化遺産の保存、仮想博物館展示などのために、リアルな3D人体モデルを生成します。
戻る