InfiniteYou - ByteDanceのオープンソースの身元保護型画像生成フレームワーク - AiBoss

InfiniteYouとは何ですか？

InfiniteYou（InfU）は、ByteDanceのインテリジェントクリエーションチームが開発した、拡散トランスフォーマー（FLUXなど）をベースとした、本人確認機能を備えた画像生成フレームワークです。InfuseNetを用いて拡散モデルに本人確認情報を注入することで、画像生成機能を維持しながら本人確認の類似性を高めています。InfiniteYouは、事前学習と教師ありファインチューニング（SFT）を含む多段階学習戦略を採用し、合成単一人物複数サンプル（SPMS）データを用いてテキストと画像の整合性、画質、美観を向上させています。InfiniteYouは優れた性能と高い互換性を誇り、生成AI分野に大きく貢献しています。

InfiniteYouの主な機能

身元保護生成された画像は、入力された本人確認画像と高いレベルの顔の類似性を保持している。
テキスト駆動型画像生成ユーザーは、テキストによる説明に基づいて、生成される画像の内容、スタイル、シーンを制御できます。
高品質な画像生成生成された画像は、品質、美観、テキストの配置の点で優れた性能を発揮する。
プラグイン設計既存の様々な手法やツール（ControlNet、LoRaなど）との互換性があり、より複雑でパーソナライズされたタスクにも対応します。

InfiniteYouの技術原則

InfuseNetInfuseNetは、ControlNetと同様に、拡散モデル（FLUXなど）にアイデンティティ特徴を注入するInfiniteYouの中核コンポーネントです。アイデンティティ特徴は、残差接続に基づいて拡散モデルに注入されるため、アテンション層を直接変更することなく、ベースモデルの生成能力への悪影響を軽減できます。
事前トレーニング段階このシステムは、実際の個人単一サンプル（SPSS）データを用いて事前学習を行うことで、個人の顔を再現する能力を習得します。
監視および微調整段階合成された単一人物複数サンプル（SPMS）データに基づく微調整により、テキストと画像の整合性、画像品質、および美観が向上します。
拡散トランスFLUXなどの高度な拡散変換器をベースモデルとして使用することで、このモデルは画像生成において非常に優れた性能を発揮します。拡散変換器は、高品質かつ高解像度の画像生成をサポートし、被写体の同一性を保持した画像生成のための強固な基盤を提供します。
プラグイン設計InfiniteYouは、ControlNetやLoRAなど、既存のさまざまな手法やツールをサポートしており、高い柔軟性と拡張性を提供します。ユーザーは、さまざまなプラグインを選択することで、スタイル設定やマルチコンセプト生成など、より複雑でパーソナライズされたタスクを実現できます。

InfiniteYouのプロジェクトアドレス

プロジェクト公式サイト：https://bytedance.github.io/InfiniteYou/
GitHubリポジトリ：https://github.com/bytedance/InfiniteYou
ハギングフェイスモデルライブラリ：https://huggingface.co/ByteDance/InfiniteYou
arXiv技術論文：https://arxiv.org/pdf/2503.16418
オンラインでデモを体験してください：https://huggingface.co/spaces/ByteDance/InfiniteYou

InfiniteYouのアプリケーションシナリオ

ソーシャルメディアとパーソナルブランディングユーザーは、自分の写真からさまざまなスタイルの画像を生成し、共有したりブランドプロモーションに利用したりできます。
映画とエンターテイメント映画やテレビ番組の制作、キャラクターデザインを支援するために、さまざまなシーンにおける俳優やキャラクターの画像を迅速に生成します。
広告とマーケティングターゲット層の写真に基づいてパーソナライズされた広告を作成し、エンゲージメントを高めます。
教育と訓練オンライン教育や歴史展示のために、仮想の教師や歴史上の人物を生成する。
美術とデザインこれは、アーティストやデザイナーが創造的なスケッチを素早く作成し、さまざまなスタイルを探求するのに役立ちます。