RealisHuman - 生成された画像における変形した人体部位を修復するための後処理フレームワーク。

RealisHumanとは何ですか？

RealisHumanは、生成画像内の手や顔などの人体パーツを精緻化する革新的な後処理フレームワークです。このフレームワークは、2段階のアプローチでこれを実現します。まず、元の変形領域を基準として、元の画像との整合性を確保するために、リアルな人体パーツを生成します。次に、周囲の領域を再描画することで、修正された人体パーツを元の位置にシームレスに統合し、滑らかでリアルな融合を実現します。RealisHumanは、生成画像内の人体パーツのリアリティを向上させます。また、このフレームワークは汎用性が高く、漫画やスケッチなど、さまざまなスタイルの画像を処理できます。

RealisHumanの主な機能

• リアルな人体パーツを生成するRealisHumanは、変形した元のパーツを参考にして、手や顔などのリアルな人体パーツを生成するため、生成されたパーツが元の画像と細部まで一致することが保証されます。
• 修正部品のシームレスな統合RealisHumanは、リアルな人体パーツを生成した後、周囲の領域を再描画することで、修正された人体パーツを元の画像にシームレスに統合し、滑らかでリアルな融合を実現します。
• 複数の画像スタイルを処理する汎用性が高く、漫画やスケッチなど、さまざまなスタイルの画像を効果的に処理できます。
• 生成画像のリアリティを向上させる上述の2段階の方法により、RealisHumanは生成画像における人体部位のリアリティを向上させる。

RealisHumanの技術原則

• フェーズ1：リアルな人体パーツの生成
  • 元の奇形部位への参照RealisHumanは、元の変形した領域を参考にして、生成された人体の各部位が元の画像と細部まで一致するようにします。
  • 詳細情報を抽出するPart Detail EncoderやDINOv2などのツールを使用することで、肌の色や質感など、元の変形部分に関する詳細な情報を抽出できます。
  • 3D姿勢推定元の変形した部分から抽出された3D姿勢推定結果は、人体部位画像の生成を誘導するために使用され、姿勢の正確性とリアリティを確保します。
• フェーズ2：修正部品のシームレスな統合
  • 位置決めとトリミングまず、修正した人体の各部位を元の位置に戻し、周囲の領域を覆います。
  • 修復と融合このプロセスを修復問題として扱い、人体の各部位を周囲の領域とシームレスに融合させるモデルを訓練することで、スムーズな移行とリアルな融合を実現します。
  • 再描画統合処理の過程で、背景と修正された人体部位の間の領域は、コラージュの跡を避けるために描き直された。

RealisHumanのプロジェクトアドレス

• GitHubリポジトリ：https://github.com/Wangbenzhi/RealisHuman
• arXiv技術論文：https://arxiv.org/pdf/2409.03644

RealisHuman アプリケーションシナリオ

• ゲーム開発ゲームのキャラクターデザインにおいて、RealisHumanはリアルなキャラクターの手や顔のディテールを生成するために使用でき、キャラクターのリアリティと没入感を高めることができます。
• 映画およびテレビ制作映画やテレビの特殊効果制作において、キャラクターの表情や手の動きを修正または強化するのに役立ち、特殊効果の映像をより自然でリアルなものにすることができる。
• 画像復元手や顔に変形がある画像の場合、RealisHumanを使用することでこれらの部分を修復し、より自然な見た目にすることができます。
• 芸術創作芸術創作において、アーティストはこの技術を用いて、独自のスタイルとディテールを持つ人体部位を生成することができ、作品の表現力を高めることができる。
• インタラクティブなアプリケーションバーチャル試着やバーチャルメイクなどのアプリケーションでは、仮想キャラクターの手や顔の細部がユーザーの実際の特徴と一致するようにすることができます。