VideoReward - 香港中文大学、清華大学、快手などが共同で立ち上げた、動画生成嗜好データセットと報酬モデル。

VideoRewardとは何ですか？

VideoRewardは、香港中文大学、清華大学、Kuaishou Technologyが共同で作成した動画生成嗜好データセットおよび報酬モデルです。視覚品質、動き品質、テキスト配置の3つの次元を網羅する182,000個のラベル付きデータポイントが含まれており、動画生成モデルの最適化に使用されます。人間のフィードバックに基づく報酬モデルは、多次元配置アルゴリズム（Flow-DPOやFlow-RWRなど）と推論時技術（Flow-NRGなど）を通じて、動画生成とテキスト配置の一貫性を大幅に向上させます。Flow-NRGは、個々のニーズに合わせてユーザー定義の重み付けをサポートします。

VideoRewardの主な機能

• 大規模な嗜好データセットの構築VideoRewardには、生成された動画に対するユーザーの好みを把握するために使用される、視覚品質（VQ）、動きの品質（MQ）、テキストの配置（TA）という3つの主要な側面を網羅する182,000個のラベル付きデータポイントが含まれています。
• 多次元報酬モデル強化学習に基づき、VideoRewardは、動画生成を最適化するために、トレーニング時の戦略（Flow-DPOやFlow-RWRなど）と推論時の手法（Flow-NRGなど）を含む3つのアライメントアルゴリズムを導入しています。
• 個々のニーズに合わせたサポートFlow-NRGを使用すると、推論中に複数のターゲットにカスタム重みを割り当てることができ、個々のビデオ品質のニーズに対応できます。
• 動画生成品質を向上させるVideoRewardは、人間のフィードバックを通じて、動画生成の一貫性とプロンプトテキストとの整合性を大幅に向上させ、既存の報酬モデルを凌駕する性能を発揮します。

VideoRewardの技術的原則

• アライメントアルゴリズムVideoRewardは、自己拡散モデルのアプローチを拡張し、特にフローベースモデル向けに設計された3つのアライメントアルゴリズムを導入しています。
  • フローDPO（直接選好最適化）トレーニング段階では、人間の好みに合う動画ペアをマッチングさせるようにモデルが直接最適化されます。
  • フローRWR（報酬加重回帰）このモデルは、報酬に重み付けされたアプローチを用いることで最適化され、人間のフィードバックにより近いものとなるように設計されている。
  • Flow-NRG（ノイズの多い動画に対する報酬誘導）推論段階では、報酬ガイダンスがノイズの多い動画に直接適用され、ユーザーは複数のターゲットにカスタムの重みを割り当てて、個々のニーズに対応できます。
• 人間からのフィードバック最適化VideoRewardは、人間のフィードバックを通じて、動画生成の一貫性とプロンプトテキストとの整合性を大幅に向上させます。実験結果によると、VideoRewardは既存の報酬モデルを凌駕し、Flow-DPOはFlow-RWRおよび標準的な教師あり微調整手法を凌駕することが示されています。

VideoRewardのプロジェクトアドレス

• プロジェクト公式サイト：https://gongyeliu.github.io/videoalign/
• arXiv技術論文：https://arxiv.org/pdf/2501.13918

VideoRewardの応用事例

• 動画生成品質最適化VideoRewardは、大規模な人間の嗜好データセットと多次元報酬モデルを通じて、特に視覚品質、動きの一貫性、テキストの配置といった点で、ビデオ生成の品質を大幅に向上させます。
• パーソナライズされたビデオ生成VideoRewardのFlow-NRGテクノロジーは、推論時に複数のターゲットにカスタム重みを割り当てることを可能にし、個々のビデオ品質ニーズに対応します。
• 動画生成モデルのトレーニングと微調整VideoRewardは、動画生成モデルのトレーニングや微調整に使用できる、多次元報酬モデルとアライメントアルゴリズム（Flow-DPOやFlow-RWRなど）を提供します。
• ユーザー嗜好分析および調査VideoRewardの大規模な嗜好データセットは、映像品質、動きの品質、テキストの配置など、複数の側面を網羅しています。
• 動画コンテンツの作成と編集動画コンテンツの制作・編集分野において、VideoRewardはより高品質な動画映像の生成と、クリエイティブな効率性の向上に貢献します。