Leffa - Metaが開発したオープンソースの画像生成フレームワークで、人物の外見やポーズを精密に制御できます。 - AiBoss

Leffaとは何ですか？

Leffa（Learning Flow Fields in Attention）は、Meta AIが開発した、制御可能な人物画像を生成するためのフレームワークです。フローフィールド学習をアテンションメカニズムに組み込むことで、被写体の外観と姿勢を正確に制御します。Leffaは、正則化された損失関数に基づいて、トレーニング中にモデルを誘導し、参照画像内の正しい領域にターゲットクエリを集中させることで、ディテールの歪みを軽減し、画像品質を向上させます。Leffaは追加のパラメータや推論コストを必要とせず、さまざまな拡散モデルに適用可能で、優れたモデル独立性と汎化能力を発揮します。

レファの主な機能

外見コントロール（バーチャル試着）参照画像（衣服の写真など）に基づいて、人物が衣服を着用している画像を生成する。その際、人物の元の特徴を保持する。
姿勢制御（姿勢伝達）:Lは、人物の外見の詳細を保持したまま、ある画像から別の画像へ人物のポーズを転送します。
詳細が保存されています生成された画像における、テクスチャ、テキスト、ロゴなどの詳細情報の損失を軽減します。
品質維持生成される画像の全体的な品質を高く維持しつつ、細部を制御する。

レファの技術原則

注意機構アテンションメカニズムに基づき、アテンションレイヤーを使用して、ターゲット画像（生成する人物の画像）と参照画像（外見や姿勢を示す画像）を関連付けます。
フローフィールド学習学習アテンション層におけるフローフィールドに基づいて、ターゲットクエリは参照キーの正しい領域に焦点を当てるように明示的に誘導されます。
正則化損失アテンションマップに正則化損失を適用することで、参照画像が変形され、ターゲット画像により近い位置に配置されるため、モデルはトレーニング中に参照領域に正しく焦点を合わせるように促されます。
空間的一貫性アテンションマップをフローフィールドに変換することに基づいて、グリッドサンプリング操作を使用して参照画像を変形し、ターゲットクエリと参照画像間の空間的な一貫性を確保します。
モデル独立性正則化損失関数として、追加のパラメータや複雑な学習手法を必要とせずに、さまざまな拡散モデルに組み込むことができます。
段階的なトレーニングトレーニングの最終段階で適用することで、早期のパフォーマンス低下を回避できます。これは、従来の拡散損失とレファ損失を組み合わせることでモデルのパフォーマンスを最適化する、微調整に基づいています。

レファのプロジェクト住所

GitHubリポジトリ：https://github.com/franciszzj/Leffa
ハギングフェイスモデルライブラリ：https://huggingface.co/franciszzj/Leffa
arXiv技術論文：https://arxiv.org/pdf/2412.08486
オンラインでデモを体験してください：https://huggingface.co/spaces/franciszzj/Leffa

Leffaのアプリケーションシナリオ

バーチャル試着電子商取引やファッション業界では、バーチャル試着室を作ることで、消費者は実際に試着することなく、オンラインで様々な服を着た自分の姿を確認できるようになる。
拡張現実（AR）ARアプリケーションでは、ユーザーの外見や服装をリアルタイムで変更または追加できるため、より没入感のある体験を提供できます。
ゲームとエンターテイメントゲーム開発においては、キャラクターのカスタマイズに使用され、プレイヤーが好みに合わせてキャラクターの外見や姿勢を調整できるようにする。
映画およびビデオ制作映画のポストプロダクションでは、俳優の服装やポーズを変えるなど、キャラクターの外見を撮り直すことなく生成したり修正したりすることができる。
パーソナライズされた広告広告業界では、これはターゲット層の特性に基づいて、パーソナライズされた広告画像を生成したり、モデルのイメージをカスタマイズしたりすることを指します。