PromptEnhancer - テンセントのオープンソースのテキストから画像へのプロンプト強化フレームワーク - AiBoss

PromptEnhancerとは何ですか？

PromptEnhancerは、TencentのHunyuanチームが開発したオープンソースの提案書き換えフレームワークで、テキストから画像への変換（T2I）モデルの改善を目的としています。Chain-of-Thought（CoT）提案書き換えと専用の報酬モデルAlignEvaluatorにより、T2Iモデルにおける複雑なユーザーコマンドの理解と画像生成の精度を大幅に向上させます。このフレームワークはT2Iモデルの重みを変更する必要がなく、汎用性が高くプラグアンドプレイで利用でき、様々な事前学習済みモデルと互換性があります。PromptEnhancerは2段階のトレーニング（教師ありファインチューニングと強化学習）によって提案を最適化し、生成される画像をユーザーの意図により合致させます。

PromptEnhancerの主な機能

テキストから画像への変換モデルの精度と位置合わせの正確性を向上させる。PromptEnhancerは、ユーザー入力に合わせてテキストプロンプトを最適化することで、テキストから画像への変換（T2I）モデルで生成される画像の精度と、ユーザーの意図との整合性を大幅に向上させます。属性バインディング、否定コマンド、複雑な関係記述など、複雑なユーザーコマンドもより適切に処理できます。
汎用性とプラグアンドプレイこれは、事前学習済みのT2Iモデルの重みを変更する必要がなく、HunyuanImage、Stable Diffusion、Imagenなどのさまざまな事前学習済みモデルに対応できる汎用モジュールとして使用でき、最適化コストを削減します。
高品質なベンチマークデータセットを提供するこのオープンソースのデータセットには、6,000個のプロンプトとそれに対応する多次元の詳細な注釈が含まれており、研究者にとって重要な参考資料となるとともに、プロンプト最適化技術の解釈可能性と再現性に関する研究を促進する。

PromptEnhancerの技術原理

思考連鎖（CoT）による書き直しのヒント人間のデザイナーの思考プロセスをシミュレートする思考連鎖メカニズムを導入したこのアプローチでは、簡潔なユーザー指示を「コア要素 - 潜在的な曖昧さ - 詳細の補足」という3つのステップに分解します。
AlignEvaluator、専用の報酬モデル私たちは、6つの主要カテゴリと24の重要な次元を網羅する評価システムを構築しました。大規模なラベル付きデータを用いてAlignEvaluatorをトレーニングすることで、生成された画像の各次元について「正確なスコア」を提供できます。次元には、言語理解（否定的な指示や代名詞の指示など）、視覚的属性（オブジェクトの数、質感、表情など）、複雑な関係（包含関係、類似関係、反事実的シナリオなど）が含まれます。
2段階トレーニング
- フェーズ1：監視微調整（SFT）CoTリライターは、教師ありファインチューニングによって初期化され、文法的な論理に準拠した洗練された提案を生成できるようにします。これは、大規模モデルによって生成された「生の提案 - 思考連鎖 - 洗練された提案」という大規模なデータセットを使用してトレーニングされます。
- フェーズ2：生成型報酬ベースポリシー最適化（GRPO）このプロセスでは、リライターによって生成された複数の候補となる手がかりを固定されたT2Iモデルに入力し、AlignEvaluatorを使用して生成された画像をスコアリングします。「報酬の高い手がかりほど重要度が高い」というロジックを適用することで、生成された画像とユーザーの意図との整合性を最大化するようにリライターの戦略が最適化されます。

PromptEnhancerプロジェクトのアドレス

プロジェクト公式サイト：https://hunyuan-promptenhancer.github.io/
GitHubリポジトリ：https://github.com/Hunyuan-PromptEnhancer/PromptEnhancer
ハギングフェイスモデルライブラリ：https://huggingface.co/tencent/HunyuanImage-2.1/tree/main/reprompt
arXiv技術論文：https://www.arxiv.org/pdf/2509.04545

PromptEnhancerの応用シナリオ

広告デザイン高品質な広告ポスターや販促資料を迅速に作成し、デザイン効率を向上させます。
イラスト制作イラストレーターが創造的なスケッチを素早く作成するのに役立ち、時間と労力を節約できます。
ゲームデザインこれにより、ゲーム開発者はゲームキャラクター、シーン、小道具のコンセプトアートを迅速に作成でき、ゲーム開発プロセスを加速させることができます。
ソーシャルメディアコンテンツ魅力的なソーシャルメディア画像や動画を素早く作成し、コンテンツの魅力を高めましょう。
ビデオ制作動画コンテンツ制作において、動画編集や特殊効果制作を支援するために、高品質の動画フレームやコンセプトアートを生成します。