InstantID - 高精度なパーソナライズ画像合成フレームワーク

InstantIDは、拡散モデルに基づいた画像生成技術であり、ゼロショットで本人確認可能なパーソナライズされた画像合成を実現することに重点を置いています。この技術により、ユーザーは単一の顔画像のみを使用して、PhotoMakerで得られる結果と同等の高い忠実度を維持しながら、複数のスタイルのパーソナライズされた画像を生成できます。InstantIDは、ストレージ容量の制約、長時間の微調整プロセス、複数の参照画像の必要性など、既存のパーソナライズされた画像合成手法の実用上のいくつかの限界に対処するように設計されています。

プロジェクトホームページ：https://instantid.github.io/

論文の宛先:https://arxiv.org/abs/2401.07519

GitHubリポジトリ:https://github.com/InstantID/InstantID

InstantIDの機能

• パーソナライズされた画像合成ユーザーは、1枚の顔画像を基に、さまざまなポーズやスタイルのパーソナライズされた画像を、高い忠実度を維持しながら生成できます。
• アイデンティティ特徴の保持InstantIDは、新しい画像を生成する際に、表情、年齢、身元など、元の画像から顔の特徴を正確に保持することができます。
• スタイル転送InstantIDは、人物の顔の特徴をさまざまなアートスタイルや背景に転送することができ、例えば、リアルな顔の特徴をアニメ風の画像に統合するといったことが可能です。
• 新たな視点の統合InstantIDを使用すると、元の画像に存在しない視点であっても、同じ人物の新しい視点からの画像を生成できます。
• 同一性補間InstantIDは、異なる人物の顔の特徴を補間するなど、さまざまな人間の特徴間のスムーズな移行を可能にします。
• 多重アイデンティティ合成複雑なシナリオでは、InstantIDは複数の文字を同時に処理し、複数の文字を含む画像を生成できます。
• 互換性のある事前学習済みモデルInstantIDはプラグインとして、SD1.5やSDXLといった一般的な事前学習済みのテキストから画像への拡散モデルに、追加の微調整を必要とせずにシームレスに統合できます。

Instant IDの仕組み

InstantIDは、ID埋め込み、画像アダプタ、およびIdentityNetという3つの主要コンポーネントで構成されています。

1. ID埋め込みまず、InstantIDは事前学習済みの顔モデルを使用して、参照顔画像から身元情報（ID、年齢、性別などの豊富な意味情報を含む）を抽出し、生成された画像に顔の詳細を保持します。
2. イメージアダプターInstantIDは、画像を視覚的な手がかりとしてサポートするために、分離型クロスアテンション機構を使用する軽量画像アダプタを導入しました。このアダプタは、他のモデルパラメータに影響を与えることなく、参照画像を条件付き入力として受け取ることができます。
3. IdentityNetIdentityNetは、参照顔画像の詳細な特徴を符号化するために特別に設計されたネットワークであり、追加の空間制御機能と組み合わされています。顔の特徴とテキスト情報を組み合わせることで画像生成プロセスをガイドし、生成中に顔の識別情報が確実に保持されるようにします。
4. 訓練と推論戦略InstantIDは、トレーニング中に画像アダプタとIdentityNetのパラメータのみを最適化し、事前学習済みの拡散モデルのパラメータは変更しません。これにより、InstantIDは追加の微調整を行わなくても、推論時に柔軟性を維持できます。
5. 生成プロセスInstantIDは画像を生成する際、まずID埋め込みを条件として使用し、次に画像アダプタとIdentityNetのガイダンスを通してこれらの条件を拡散モデルに渡します。拡散モデルは、これらの条件に基づいて画像を生成します。