T2I-R1 - 香港中文大学と上海AI研究所が共同でテキストベースの画像モデルを発表

T2I-R1とは何ですか？

T2I-R1は、香港中文大学と上海AIラボが共同開発した、テキストから画像への変換を行う革新的なモデルです。意味レベルの連鎖推論（CoT）とトークンレベルのCoTという2層推論メカニズムに基づき、高レベルの画像プランニングと低レベルのピクセル生成を分離することで、画像生成の品質と堅牢性を大幅に向上させています。T2I-R1は、BiCoT-GRPO強化学習フレームワークをベースとし、マルチエキスパート報酬モデルアンサンブルを用いて生成プロセスを最適化します。複数のベンチマークテストにおいて、T2I-R1は現在のトップモデルであるFLUX.1を凌駕し、複雑なシーンの理解と高品質な画像の生成における強力な能力を実証しています。

T2I-R1の主な機能

• 高品質な画像生成2層構造の推論メカニズム（意味レベルとトークンレベルのCoT）に基づいて、人間の期待をよりよく満たす高品質な画像を生成します。
• 複雑なシーンの理解ユーザーからのプロンプトから複雑な意味を推論し、プロンプトと非常に整合性の高い画像を生成し、一般的でないシナリオや曖昧なシナリオを処理する際に非常に優れた性能を発揮します。
• 多様性の生成を最適化するセマンティックレベルのCoTプランニング機能に基づいて、生成される画像の多様性が高まり、単一の出力に陥ることを防ぎます。

T2I-R1の技術的原理

• 2層CoT推論メカニズム：
  • 意味論的CoT画像を生成する前に、テキストプロンプトに基づいて理由と計画を立て、画像の全体構造と要素の配置を明確にする。
  • トークンレベルのCoT画像生成の過程では、局所的な詳細と視覚的な一貫性に重点を置きながら、画像トークンがブロックごとに生成されます。
• BiCoT-GRPOアルゴリズムこのアプローチは、強化学習（RL）を活用して意味レベルとトークンレベルのCoTを共同で最適化し、推論プロセスと生成プロセス間の協調的な最適化を保証します。また、グループ相対報酬モデルとマルチエキスパート報酬モデルを統合し、生成された画像の品質を多角的に評価します。
• 複数専門家報酬モデルの統合このアプローチは、人間の嗜好モデル、物体検出器、視覚的質問応答モデルなど、さまざまな視覚的専門知識を組み合わせ、美的品質、テキストの配置、物体の存在など、複数の観点から生成された画像を評価します。複数の報酬モデルを統合することで、単一の報酬モデルへの過学習を防ぎ、生成結果の安定性と汎化能力を向上させます。

T2I-R1プロジェクトの住所

• GitHubリポジトリ：https://github.com/CaraJ7/T2I-R1
• arXiv技術論文：https://arxiv.org/pdf/2505.00703

T2I-R1の応用シナリオ

• クリエイティブデザインデザイナーが創造的なスケッチやアートワークを素早く作成するのに役立ち、時間を節約できます。
• コンテンツ作成広告、映画、テレビ、ゲームなどに使用するキャラクターやシーン素材を生成し、効率性を向上させます。
• 教育支援授業内容に関連した画像を生成することで、学生が抽象的な概念をよりよく理解できるようにする。
• バーチャルリアリティユーザーの入力に基づいて仮想シーンやオブジェクトを生成し、没入感を高める。
• インテリジェントな顧客サービスユーザーが製品やサービスをよりよく理解できるよう、直感的な画像を生成する。