project
SRPO - テンセント渾源が発表したテキストベースの画像モデル
SRPO(Semantic Relative Preference Optimization)は、テンセント渾源が開発したテキストから画像を生成するモデルです。報酬信号をテキスト条件信号として設計することで、報酬のオンライン調整を可能にし、外部要因への依存度を低減します。
SRPOとは何ですか?
SRPO(Semantic Relative Preference Optimization)は、テンセント・フンユアンが開発したテキストから画像を生成するモデルです。報酬信号をテキスト条件付き信号として設計することで、報酬のオンライン調整が可能になり、オフラインでの報酬の微調整への依存度を低減します。SRPOはDirect-Alignテクノロジーを採用しており、事前に定義されたノイズ事前情報に基づいて任意のタイムステップから元の画像を直接復元することで、後のタイムステップでの過剰最適化を回避します。FLUX.1.devモデルを用いた実験では、SRPOによって生成された画像のリアリティと美的品質が人間の知覚において大幅に向上し、トレーニング効率も非常に高く、わずか10分で最適化が完了することが示されています。
SRPOの主な機能
-
画像生成品質を向上させる拡散モデルを最適化することで、生成される画像は、リアリティ、ディテールの豊かさ、および美的品質の点で大幅に向上する。
-
オンライン報酬調整これにより、ユーザーはテキストプロンプトを介して報酬シグナルを動的に調整でき、報酬モデルのオフラインでの微調整を必要とせずに、画像生成のスタイルや設定をリアルタイムで変更できます。
-
モデルの適応性を向上させるこれにより、拡散モデルは、さまざまな照明条件、スタイル、詳細レベルなどに応じて最適化するなど、さまざまなタスク要件や人間の好みによりよく適応できるようになります。
-
トレーニング効率を向上させるSRPOは拡散プロセスの初期段階を最適化することで、モデルのトレーニングと最適化を短時間(例えば10分)で完了させることができ、トレーニング効率を大幅に向上させます。
SRPOの技術原則
-
ダイレクトアライン技術:トレーニング中、SRPOはノイズのない画像にガウスノイズを注入し、単一ステップのノイズ除去処理によって元の画像を復元します。このように、SRPOは拡散プロセスの後半のタイムステップで発生する過剰最適化の問題を効果的に回避し、報酬ハッキング(報酬モデルのバイアスを利用して低品質の画像を生成するモデルなど)を減らすことができます。従来の手法と比較して、SRPOはより早い段階で最適化できるため、トレーニング効率と生成品質の向上に役立ちます。
-
Semantic Relative Preference Optimization(SRPO):報酬信号はテキスト条件信号として設計されており、報酬信号は肯定的な手がかり語と否定的な手がかり語によって調整される。このモデルは、肯定的な手がかり語と否定的な手がかり語のペア間の報酬の差を計算することによって最適化されます。SRPOは、トレーニング中に報酬信号を動的に調整することをサポートしており、モデルがさまざまなタスク要件に応じてリアルタイムで生成戦略を調整できるようにします。
-
報酬集約フレームワーク:最適化の安定性を向上させるため、SRPOはトレーニングプロセス中に複数回ノイズを注入して一連の中間画像を生成し、各画像に対してノイズ除去と復元処理を実行します。SRPOは、減衰割引係数を用いて中間報酬を集約することで、後の時間ステップにおける報酬ハッキングを効果的に抑制し、生成される画像の全体的な品質を向上させます。
SRPOプロジェクトの住所
- プロジェクト公式サイト:https://tencent.github.io/srpo-project-page/
- GitHubリポジトリ:https://github.com/Tencent-Hunyuan/SRPO
- ハギングフェイスモデルライブラリ:https://huggingface.co/tencent/SRPO
- arXiv技術論文:https://arxiv.org/pdf/2509.06942v2
SRPOの応用シナリオ
- デジタルアート制作アーティストやデザイナーは、高品質なデジタルアート作品を制作したり、テキストプロンプトを通して画像スタイルを動的に調整したり、コンセプトスケッチから最終作品まで迅速な反復作業を実現したりすることができる。
- 広告とマーケティング広告代理店は、特定のブランドスタイルや市場におけるポジショニングに合った画像を生成し、多様なデザインオプションを迅速に作成することで、クリエイティブな効率性を向上させることができる。
- ゲーム開発ゲーム開発者は、高品質なゲームテクスチャ、キャラクターデザイン、シーン背景などを制作し、ゲームの視覚効果とプレイヤー体験を向上させます。
- 映画およびテレビ制作映画やテレビ番組の制作においては、リアルな特殊効果シーン、背景、キャラクターを生成するために使用され、ポストプロダクションの時間とコストを削減する。
- 仮想現実(VR)と拡張現実(AR)このモデルは高品質な仮想環境やオブジェクトを生成することができ、VRおよびARアプリケーションの没入感とリアリティを高める。