FlexIP - テンセントが提供する、パーソナライズされた画像生成・編集フレームワーク。 - AiBoss

FlexIPとは何ですか？

Tencentが提案するFlexIPは、画像合成のための柔軟な被写体属性編集フレームワークであり、画像生成におけるアイデンティティの保持とパーソナライズされた編集のバランスを取っています。このフレームワークはデュアルアダプタアーキテクチャを採用し、アイデンティティの保持とパーソナライズされた編集を分離し、高レベルのセマンティックコンセプトと低レベルの空間的詳細を通じてアイデンティティの完全性を確保します。動的な重み付けメカニズムにより、ユーザーはアイデンティティの保持とスタイルのパーソナライズのバランスを柔軟にパラメータ化でき、従来の二者択一のトレードオフを連続的な制御サーフェスに変換します。FlexIPはマルチモーダルデータトレーニング戦略を組み込んでおり、画像データとビデオデータに基づいてアダプタのアイデンティティロック機能と変形機能をそれぞれ最適化することで、生成の堅牢性をさらに高めています。

FlexIPの主な機能

デュアルアダプター分離設計今回初めて、保存アダプタとパーソナライゼーションアダプタが明確に分離されました。保存アダプタは、高レベルのセマンティック概念と低レベルの空間的詳細を組み合わせて、アイデンティティの整合性を確保します。一方、パーソナライゼーションアダプタは、テキストおよびビジュアルのCLSトークンと連携し、意味のある視覚的手がかりを組み込み、テキストの変更を一貫性のある視覚的コンテキスト内に配置することで、機能の競合を回避し、より精密な制御を実現します。
動的重量制御機構連続的に調整可能なパラメータによって、アイデンティティの保持と編集の強度を動的にバランスさせることで、従来の二者択一的なトレードオフが連続的なパラメータ制御面へと変化し、微調整から大きな変形まで柔軟な制御が可能になります。ユーザーは必要に応じて、生成される効果を柔軟に調整できます。
様式を考慮したトレーニング戦略アダプタの重みは、データ特性（静止画像／動画フレーム）に基づいて適応的に調整されます。画像データは識別情報の同期を強化し、動画データは時間的な変形を最適化することで、生成の堅牢性を向上させます。
クロスアテンションメカニズムこのアダプターは、注意の対象となる複数の領域にわたって、多粒度の視覚的特徴（顔の細部など）を捉えることで、本人確認の確実性を高めます。
動的補間加重ゲート機構により、ユーザーはアダプターの寄与度をリアルタイムで調整でき、連続的な「制御面」を形成できます。
マルチモーダルデータトレーニング画像データと動画データを組み合わせることで、アダプタの識別ロック機能と変換機能がそれぞれ最適化される。

FlexIPのパフォーマンス比較

定量的比較
- 総合ランキング総合ランキング（mRank）指標において、FlexIPは他のすべての手法を上回り、複数の主要指標において最高のパフォーマンスを発揮したことを示している。
- パーソナライゼーション機能パーソナライゼーション評価において、FlexIPはCLIP-Tで0.284というスコアを獲得し、λ-Eclipseよりわずかに低い結果となったが、λ-Eclipseはこのスコアを被験者の継続率の低下という代償で達成している。一方、FlexIPは被験者の特性を維持しながら、高いレベルのパーソナライゼーションを実現している。
- アイデンティティを維持する能力アイデンティティ保持の観点から見ると、FlexIPはCLIP-IとDINO-Iでそれぞれ0.873と0.739という高いスコアを達成し、他の手法を大幅に上回り、画像の詳細と意味的な一貫性を保持する上で大きな優位性を示しました。
- 画質画像品質評価において、FlexIPはCLIP-IQAで0.598、美的評価で6.039のスコアを獲得し、生成される画像が高品質であるだけでなく、美的魅力にも優れていることを示した。
- ユーザーリサーチ実際のユーザー満足度評価において、FlexIPは柔軟性（Flex）と本人確認（ID-Pres）の両面で非常に優れた性能を発揮しました。評価者60名全員が、FlexIPによって生成された画像はテキストの意味に最も合致し、被写体の特徴を最もよく保持していると評価しました。
定性的な比較
- フィデリティFlexIPによって生成された画像は、優れた忠実度を示し、参照画像の主要な特徴と詳細を忠実に再現し、個別編集時においても高品質とリアリズムを維持します。
- 編集可能性FlexIPは編集性において大きな利点を持ち、さまざまなテキストコマンドに基づいて多様な編集結果を生成できるため、さまざまなシナリオにおけるユーザーの個別のニーズに対応できます。
- アイデンティティの一貫性同一性の一貫性という点において、FlexIPは異なる参照画像間で被写体の特徴を安定的に維持することができ、大幅な変形や様式的な編集が行われた場合でも被写体の同一性の一貫性を確保し、従来の手法でよく見られる同一性変異の問題を回避する。
- 既存の方法との比較5つの最先端手法と定性的に比較すると、FlexIPは忠実度、編集可能性、およびアイデンティティの一貫性において大幅な改善を実現した画像を生成し、高忠実度の画像をパーソナライズして生成したいというユーザーのニーズをより良く満たします。

FlexIPプロジェクトの住所

プロジェクト公式サイト：http://flexip-tech.github.io/flexip/#/
arXiv技術論文：https://arxiv.org/pdf/2504.07405

FlexIPの応用シナリオ

芸術創作FlexIPは、アーティストが被写体のアイデンティティを維持しながら、ニーズに合わせて画像を柔軟にカスタマイズすることを可能にします。
広告デザイン広告デザインの分野において、FlexIPはデザイナーがブランドのニーズを満たす画像コンテンツを迅速に生成するのに役立ちます。動的な重み付けメカニズムにより、デザイナーはブランドイメージを維持しながら、広告画像のスタイル、シーン、詳細を柔軟に調整できます。
映画およびテレビ制作FlexIPは、映画やテレビ番組制作における視覚効果やキャラクターデザインに使用できます。キャラクターのアイデンティティの一貫性を保ちながら、外見を柔軟に調整することが可能です。
ゲーム開発ゲーム開発において、FlexIPはキャラクターやシーンの生成・編集に利用できます。開発者はこのフレームワークを用いることで、キャラクターの核となる特性を維持しながら、多様なキャラクターデザインを迅速に生成できます。