PersonaCraft - ソウル大学が開発した、単一の参照画像から複数の人物の全身画像を生成する技術。

ペルソナクラフトとは何ですか？

韓国のソウル大学が開発したPersonaCraftは、パーソナライズされた全身画像合成技術です。拡散モデルと3D人体モデリングを組み合わせることで、単一の参照画像から複数の人物のリアルでパーソナライズされた全身画像を生成できます。PersonaCraftは人物間の遮蔽問題を効果的に処理し、ユーザーが定義した体型調整にも対応することで、より柔軟なパーソナライズを実現します。身体の姿勢と形状を精密に制御することで、複雑なシーンでも高品質な画像を生成することに優れ、複数人物画像合成の新たな基準を打ち立てています。

PersonaCraftの主な機能

• 複数人物の画像合成単一の参照画像に基づいて、複数の人物を含むリアルな画像を生成する。
• 隠す画像内の各人物の身体部位が正確に表示されるよう、人物間の遮蔽問題を効果的に処理する。
• 全身パーソナライゼーション顔の個性をパーソナライズすることに重点を置いているだけでなく、一人ひとりの体型を正確にパーソナライズすることにも注力している。
• ユーザー定義の体型コントロールユーザーは、生成されたキャラクターの体型や体格を、個人の好みに合わせて調整できます。
• 3D知覚姿勢状態制御SMPLx-ControlNet（SCNet）を3D知覚姿勢条件制御に使用することで、体型と姿勢の精度が向上します。

PersonaCraftの技術的原理

• 3D人体モデリングと拡散モデルの組み合わせPersonaCraftは、3D人体モデリング（特にSMPLxモデル）と拡散モデルを統合することで、キャラクターの体の形状や姿勢をより細かく制御できるようにします。
• SMPLx-ControlNet（SCNet）SMPLxモデルによって生成された深度マップを条件信号として使用することで、体の形状や姿勢を正確に捉え、複雑な遮蔽問題を効果的に処理することができます。
• 顔と身体の識別情報の抽出InsightFaceなどの技術に基づき、参照画像から顔の特徴を示す埋め込み表現を抽出し、SMPLxフィッティング法を用いて体型パラメータを抽出する。
• 3D知覚姿勢条件従来の2D骨格ポーズ条件とは異なり、PersonaCraftは3Dポーズ情報を使用して、奥行き情報を含む、より包括的な人間のポーズ表現を提供します。
• 複数人によるパーソナライズされた画像合成SCNetとIdentityNetを組み合わせることで、顔マスクを用いて個人の特定を正確に行い、複数の個人に対応したパーソナライズされた画像合成を可能にする。

PersonaCraftのプロジェクトアドレス

• プロジェクト公式サイト：gwang-kim.github.io/persona_craft
• GitHubリポジトリ：https://github.com/gwang-kim/PersonaCraft
• arXiv技術論文：https://arxiv.org/pdf/2411.18068

PersonaCraftの応用シナリオ

• ソーシャルメディアユーザーは、自分自身や友人の仮想アバターを好みに合わせてカスタマイズし、ソーシャルメディアのプロフィール写真や仮想空間での代表画像などとして使用できます。
• 広告とマーケティングブランドは、ターゲット層の好みに合わせたパーソナライズされた広告画像を作成することで、広告の魅力を高め、ユーザーの共感を呼ぶようにしている。
• ファッションと衣料ファッション業界では、さまざまな体型や背景を持つ人々が服を着たときの見た目を紹介することで、よりパーソナルなショッピング体験を提供できる。
• ゲームとエンターテイメントゲームデザインにおいて、個性的な外見を持つゲームキャラクターを作成することは、プレイヤーの没入感とパーソナライズされた体験を向上させる。
• 映画およびアニメーション制作映画やアニメーション制作において、キャラクターデザインの迅速な生成や修正を可能にし、制作効率の向上とコスト削減につながる。