LongAlign - 香港大学が開発した、テキストから画像への拡散モデルを改善し、長文テキストの整列に対応するための手法。

LongAlignとは何ですか？

香港大学の研究チームが開発したLongAlignは、テキストから画像への拡散（T2I）モデルを改良した手法で、長文テキスト入力のアライメント精度を向上させます。LongAlignはセグメントレベルのコーディングを使用して長文テキストをセグメント化し、コーディングモデルの入力制限に対応します。また、分解選好最適化を導入し、選好モデル内のテキストの関連部分と無関係部分に基づいて異なる重みを適用することで、過学習を減らし、アライメントを強化します。20時間の微調整後、LongAlignは長文テキストのアライメントタスクにおいてStable Diffusion v1.5モデルのパフォーマンスを大幅に向上させ、PixArt-αやKandinsky v2.2などの最先端モデルを凌駕しました。

LongAlignの主な機能

• 長文処理セグメント化された符号化方式に基づいて、長いテキスト入力を処理し、CLIPなどの事前学習済み符号化モデルの最大入力長制限を克服します。
• テキストと画像の配置生成された画像と入力テキストの整合性を向上させ、画像の内容とテキストの説明の正確性を確保します。
• 過学習を減らすLongAlignは、選好分解と重み付け戦略に基づいて、ファインチューニング中の過学習を軽減し、モデルの汎化能力を向上させます。

LongAlignの技術的原理

• セグメント化されたコーディングこの関数は、長いテキストを複数の段落（または文）に分割し、各段落を個別にエンコードした後、エンコードされた結果を結合します。最大入力長制限を超えるテキストを処理できるモデルをサポートしています。
• 選好分解選好モデルのスコアリングメカニズムを分析し、選好スコアを2つの部分に分解します。1つはテキスト関連部分（テキストと画像の整合性を測定する部分）、もう1つはテキスト非依存部分（美観など、画像のその他の視覚的側面を評価する部分）です。
• 重み付け戦略過学習の問題に対処するため、LongAlignはテキストに関連する部分と関連しない部分に異なる重みを割り当てる戦略を提案しています。この戦略は、テキストに関連しない部分の重みを減らし、モデルのテキストコンテンツへの集中度を高め、アライメント精度を向上させることに基づいています。

LongAlignのプロジェクトアドレス

• GitHubリポジトリ：https://github.com/luping-liu/LongAlign
• arXiv技術論文：https://arxiv.org/pdf/2410.11817

LongAlignの応用事例

• 芸術創作アーティストやデザイナーは、詳細な説明に合致する画像を生成することで、デジタルアート制作におけるより精緻な視覚表現を可能にする。
• ゲーム開発ゲームデザインにおいて、ゲームの背景ストーリーや特定のシーン描写に沿った画像やコンセプトアートの作成を支援する。
• 映画・エンターテインメント業界映画制作者やエンターテインメント業界は、プリプロダクションや視覚効果デザインで使用するために、脚本や絵コンテの記述に合致する画像を作成する。
• 広告とマーケティング広告代理店は、広告コピーやマーケティングキャンペーンの説明に合った画像を制作し、広告の視覚的な魅力を高めます。
• 教育と訓練教育分野においては、教材や授業内容の説明に合った画像を生成することで、学習体験が向上する。