IMAGPose - 南京理工大学がポーズ誘導型画像生成のための統一フレームワークを発表

IMAGPoseとは何ですか？

IMAGPoseは、南京理工大学が開発した、人間の姿勢に基づいた画像生成のための統一的な条件付きフレームワークです。これは、異なる姿勢を持つ複数のターゲット画像を同時に生成できないこと、マルチビューソース画像からターゲット画像を生成する際の制限、およびフリーズ画像エンコーダの使用による人体画像の詳細情報の損失など、従来の姿勢に基づいた人体画像生成手法の限界を克服するものです。

IMAGPoseの主な機能

• マルチシナリオ適応IMAGPoseは、単一のソース画像からターゲット画像を生成する、複数の視点からのソース画像からターゲット画像を生成する、異なるポーズの複数のターゲット画像を同時に生成するなど、さまざまなユーザーシナリオをサポートしています。
• 詳細と意味の融合特徴レベル条件モジュール（FLC）を介して低レベルのテクスチャ特徴と高レベルのセマンティック特徴を組み合わせることで、人物画像専用の特徴抽出器がないために生じる詳細情報の損失という問題が解決される。
• 柔軟な画像とポーズの調整画像レベル調整（ILC）モジュールは、可変数のソース画像条件を注入し、マスキング戦略を導入することで、画像とポーズを位置合わせし、多様な柔軟なユーザーシナリオに対応します。
• グローバルおよびローカルの一貫性クロスビューアテンション（CVA）モジュールは、グローバル情報とローカル情報を分解するクロスアテンションメカニズムを導入し、複数のソースの画像キューを使用する際に、人物画像のローカルな忠実度とグローバルな一貫性を保証します。

IMAGPoseの技術的原則

• 機能レベル条件付きブロック（FLC）FLCモジュールは、変分オートエンコーダ（VAE）エンコーダによって抽出された低レベルのテクスチャ特徴と、画像エンコーダによって抽出された高レベルのセマンティック特徴を組み合わせることで、人間の画像専用の特徴抽出器がないために失われる詳細情報の問題に対処します。
• 画像レベル条件付きモジュール（ILC）ILCモジュールは、可変数のソース画像条件を注入し、マスキング戦略を導入することで、画像と姿勢のアライメントを実現し、多様な柔軟なユーザーシナリオに対応します。
• クロスビュー注意モジュール（CVA）CVAモジュールは、グローバル分解とローカル分解を組み合わせたクロスアテンションメカニズムを導入し、複数のソースからの画像キューを使用する際に、人物画像のローカルな忠実度とグローバルな一貫性を確保します。

IMAGPoseプロジェクトのアドレス

• GitHubリポジトリ：https://github.com/muzishen/IMAGPose
• 技術論文：IMAGPose

IMAGPoseの応用シナリオ

• 仮想現実（VR）と拡張現実（AR）IMAGPoseは、特定のポーズをとった人物の画像を生成できるため、仮想環境内で様々なポーズで自己表現したり、仮想キャラクターの複数のポーズを生成して没入感を高めたりすることが可能になります。
• 映画製作と特殊効果映画制作において、IMAGPoseはキャラクターの様々なポーズを生成するために使用でき、特殊効果チームが様々なシーンでキャラクター画像を迅速に生成するのに役立ち、手動によるモデリングとアニメーションにかかる時間とコストを削減します。
• EコマースとファッションIMAGPoseを使用すると、さまざまなポーズの衣料品ディスプレイ画像を生成できます。販売者は、さまざまなポーズで服を着たモデルのレンダリング画像を生成し、消費者に包括的な視覚体験を提供できます。
• 歩行者再識別IMAGPoseによって生成された画像は、歩行者再識別タスクの性能向上に利用できます。様々なポーズの人物画像を生成することで、データセットの多様性を高め、モデルの堅牢性と精度を向上させることができます。
• バーチャル写真と芸術創作アーティストや写真家は、IMAGPoseを使用して、仮想写真や芸術作品制作のためのポーズをとった人物の創造的な画像を生成し、より多くの視覚的可能性を探求することができます。