AB
AB
AiBoss

すべてのカテゴリ

project

PSHumanは、たった1枚の写真だけで3Dポートレートを再構築できるオープンソースの技術です。

PSHumanは、高度な単一画像3Dポートレート再構築技術です。クロススケールマルチビュー拡散モデルに基づいて、1枚の写真から、詳細な表情や全身のポーズを含む、非常にリアルな3Dポートレートモデルを生成できます。その最大の強みは…

PSHumanとは何ですか？

PSHumanは、高度な単一画像3D人体ポートレート再構築技術です。クロススケールマルチビュー拡散モデルに基づき、1枚の画像から、詳細な表情や全身のポーズを含む、非常にリアルな3D人体ポートレートモデルを生成できます。その最大の特長は、全体形状と局所的なディテールの同時確率分布をモデル化することで、幾何学的歪みを回避し、異なるビュー間でも体型の一貫性を維持できる点にあります。PSHumanは、明示的な人体彫刻技術により、リアルなテクスチャ付き人体メッシュを効率的に復元します。複数のデータセットで優れた性能を発揮し、卓越した幾何学的ディテール、テクスチャの忠実度、および汎化能力を実証しています。

PSHumanの主な機能

  • 単一画像による3Dポートレートの再構築ユーザーはポートレート写真を提供するだけで、PSHumanは詳細な3Dモデルを迅速に生成できるため、3D人体モデリングの効率が大幅に向上します。
  • マルチビュー拡散技術高度なマルチビュー拡散モデルに基づき、単一視点の写真から複数の角度から人物画像を生成し、各角度が元の被写体を可能な限りリアルに反映するようにすることで、単一視点画像再構成の問題を解決します。
  • 高精細な顔のディテール全体の体型と顔の細部の両方を考慮したクロススケール拡散法を用いることで、幾何学的変形の問題を回避できる。その結果得られた3Dモデルは、高いリアリズムとディテールを備えた優れた顔の特徴を示す。
  • SMPL-X人体モデルと組み合わせるこれは、さまざまな姿勢や体型で人体を表現できるSMPL-Xパラメトリック人体モデリングと組み合わせることで、より自然でリアルな人体の動きや形状を生成し、3Dモデルのリアリティをさらに向上させます。
  • 背景除去Clipdropやrembgツールを使用してポートレート写真の背景を削除できるため、その後の処理ワークフローが簡素化されます。
  • 構造化された出力生成された3Dモデルとレンダリングされた動画は構造化されたファイル形式で保存されるため、ユーザーはそれらを簡単に閲覧・共有できます。
  • SMPLフリー版SMPL条件なしで複数のビューを生成でき、一般的なポーズのポートレートに適しているため、その応用範囲が広がります。

PSHumanの技術原則

  • 身体と顔の補正、およびマルチビュー生成このシステムはまず、入力された写真と予測された人体骨格モデル（SMPL-X）をマルチビュー画像拡散モデルに入力します。このモデルは、6つの異なる角度から全身画像を生成するだけでなく、高精度の顔面局所画像も生成できるため、全身と顔の細部が可能な限りリアルに再現されます。
  • クロススケール拡散法この手法は、全身の形状と顔の局所的な特徴の同時確率分布をモデル化できるため、幾何学的変形の問題を回避し、最終的に生成される3Dモデルは、高いリアリズムとディテールを備えた優れた顔の特徴を持つ。
  • SMPL-Xに基づいた詳細な人物造形生成された法線マップ（3D形状の詳細を示す）とカラーマップ（テクスチャの詳細を示す）に基づいて、微分可能なレンダリング技術を用いてSMPL-Xモデルを調整、変形、洗練します。このステップでは、マルチビュー生成と3Dスカルプティング技術を組み合わせることで、PSHumanは1枚の写真からリアルな3Dキャラクターモデルを効率的に「スカルプト」することが可能になります。
  • マルチビュー画像融合微分レンダリング技術を用いて複数の視点からのカラー画像を融合することで、生成時の不整合を低減します。融合されたテクスチャは、再構築された3Dメッシュに投影され、テクスチャマッピングを実現します。
  • モジュールの最適化と再構築幾何形状の最適化は、最適化されたSMPL-Xパラメータを用いてマルチビュー画像を位置合わせすることによって行われます。微分可能なラスタライズ技術を用いて、観測された法線画像に一致するようにメッシュを整形します。

PSHumanのプロジェクトアドレス

PSHumanの応用シナリオ

  • 映画・テレビ番組制作およびゲーム開発映画やテレビの特殊効果、ゲームのシーンにおいて、PSHumanはリアルな3Dキャラクターモデルを迅速に生成し、制作効率を向上させ、制作コストを削減し、映画、テレビ、ゲームにさらなるリアリティとディテールを加えることができます。
  • 仮想現実と拡張現実VRおよびAR分野において、PSHumanが生成する3D人体モデルは、ユーザーが仮想環境内で仮想キャラクターとインタラクトすることを可能にし、没入感のある体験を提供します。さらに、仮想試着、仮想メイクアップなどのサービスにも応用でき、ユーザーに便利でパーソナライズされた選択肢を提供します。
  • ファッションデザインファッション業界はPSHumanの技術を活用することで、服のデザインやディスプレイのための試着効果を迅速に生成し、デザインプロセスを加速させ、ユーザーエクスペリエンスを向上させることができる。
  • パーソナライズされたカスタマイズこのシステムは、一枚の写真からパーソナライズされた3Dモデルを生成し、それを使ってカスタムドールやゲームキャラクターなどのパーソナライズされた製品をカスタマイズすることで、ユーザーのパーソナライズされたカスタマイズコンテンツへのニーズを満たすことができます。
戻る