UNO - ByteDanceの革新的なAI画像生成フレームワーク - AiBoss

UNOとは何ですか？

UNOは、ByteDanceが開発した革新的なAI画像生成フレームワークであり、従来のモデルのマルチ被写体生成における限界を打破します。「少数から多数へ」の汎化アプローチにより、高品質な単一被写体画像とマルチ被写体画像を生成し、マルチ被写体シーンにおける一貫性の問題を解決します。UNOは、拡散トランスフォーマーに基づいて一貫性の高いマルチ被写体データを生成し、プログレッシブクロスモーダルアライメント技術を採用し、段階的にモデルをトレーニングすることで生成結果を徐々に向上させます。また、Universal Rotation Position Embedding（UnoPE）を導入し、様々な解像度とアスペクト比での画像生成をサポートします。

UNOの主な機能

単一被験者向けカスタマイズ生成UNOは、参照画像から、被写体の特徴は同じまま、異なるシーン、ポーズ、またはスタイルで画像を生成できます。
複数被験者の組み合わせ生成UNOは複数の参照画像を入力として受け取り、すべての参照被写体を含む新しい画像を生成できます。
バーチャル試着と商品表示UNOはバーチャル試着機能をサポートしており、ユーザーは特定の製品（衣類やアクセサリーなど）を様々なキャラクターモデルに装着して、その効果を体験できます。製品は、本来の特性を維持したまま、様々なシーンに配置することが可能です。
様式化生成UNOは、参照画像に対してスタイル転送を実行することで、異なるスタイルの画像を生成できます。
高い一般化能力UNOは、単一被写体および複数被写体による画像生成など、さまざまなアプリケーションシナリオに適応する複数のタスクにおいて、高い汎化能力を発揮しており、ID、トライオン、スタイルなどのシナリオにも汎化できます。

UNOの技術原則

高一貫性データ合成パイプラインUNOは、拡散トランスフォーマーが本来持つコンテキスト生成機能を活用し、一貫性の高いマルチエージェントペアデータを生成します。これにより、大規模かつ高品質なトレーニングデータを自動的に作成でき、データ収集の課題を解決します。
段階的なクロスモーダルアライメントUNOは、トレーニングプロセスを2つのフェーズに分割する、段階的なクロスモーダルアライメント戦略を採用しています。
- フェーズ1単一エージェントのコンテキストから生成されたデータを使用して、事前学習済みのテキスト画像変換（T2I）モデルを微調整することで、単一エージェント主導の生成タスクを処理できるようになります。
- フェーズ2マルチエージェントデータを導入してさらに学習を進めることで、モデルが複雑なシナリオを処理する能力が向上します。この段階的な調整アプローチにより、モデルはシングルエージェントモデルからマルチエージェントモデルまで、幅広い生成タスクにより適切に適応できるようになります。
ユニバーサル回転位置埋め込み（UnoPE）UNOは、視覚的な対象制御を拡張する際に属性の混同問題を効果的に解決するUniversal Rotational Position Embedding（UnoPE）を導入しました。UnoPEは、テキストタグと画像タグに特定の位置インデックスを割り当てることで、マルチモーダルタグ間の相互作用を調整し、モデルがテキスト特徴からレイアウト情報を抽出することに集中できるようにします。これにより、テキストの制御性を維持しながら、対象類似性を向上させることができます。
モデルアーキテクチャUNOはオープンソースモデルFLUX.1 devをベースにしており、テキストから画像への生成機能とマルチモーダルアテンション機構を継承しつつ、汎用的なカスタムモデルフレームワークを採用しています。これにより、テキストから画像モデルへの反復学習が可能になります。独自のプログレッシブクロスモーダルアライメントと汎用回転位置埋め込み機構により、単一被験者および複数被験者による生成において、高い一貫性と制御性を実現しています。
データ管理とモデルの進化UNOは「モデル・データ共進化」という新たなパラダイムを採用しています。その核心となる考え方は、より弱いモデルを用いて訓練データを生成し、より強いモデルを訓練することです。これにより、モデルは訓練中に多様なシナリオに徐々に適応できるようになり、実世界のアプリケーションで遭遇する可能性のある複雑な状況に効果的に対処できるようになります。

UNOのプロジェクト住所

プロジェクト公式サイト：https://bytedance.github.io/UNO/
GitHubリポジトリ：https://github.com/bytedance/UNO
ハグフェイスモデル：https://huggingface.co/bytedance-research/UNO
arXiv技術論文：https://arxiv.org/pdf/2504.02160

UNOの応用シナリオ

バーチャル試着UNOでは、ユーザーは仮想キャラクターモデル上に様々な衣類、アクセサリー、その他の製品を配置し、様々なシナリオでの試着効果を生成できます。
製品デザイン製品デザインにおいて、UNOは製品を様々な背景やシナリオに配置しながら、その本来の特性を維持することを可能にし、デザイナーにより柔軟なデザインアイデアを提供する。
クリエイティブデザインUNOは複数の参照画像を入力として受け取り、すべての参照被写体を含む新しい画像を生成できます。
パーソナライズされたコンテンツ生成UNOは、参照画像から、被写体の特徴は同じまま、異なるシーン、ポーズ、またはスタイルで画像を生成できます。
キャラクターとシーンのデザインUNOはゲーム開発向けに強力な画像生成サポートを提供し、開発者がキャラクターやシーンを迅速に生成し、創造性を刺激するのに役立ちます。