project
EvoQuality - ByteDanceのオープンソース画像品質評価モデル
EvoQualityは、ByteDanceと香港城市大学が共同で開発した、自己進化型のビジュアル言語モデルフレームワークであり、参照画像のない画像の品質評価に重点を置いています。
EvoQualityとは何ですか？
EvoQualityは、ByteDanceと香港城市大学が共同開発した、参照画像を用いない画像品質評価に特化した自己進化型ビジュアル言語モデルフレームワークです。このモデルはQwen2.5-VL-7Bをベースに構築されており、手動でラベル付けされた品質スコアや歪みラベルは不要です。ペアワイズ比較と多数決によって擬似ランキングラベルを生成し、GRPO強化学習アルゴリズムを用いて複数ラウンドの反復的な自己進化を実現します。
EvoQualityの主な機能
-
単一画像の品質スコア単一画像に対して連続的な品質スコアを出力し、実際の歪み、合成歪み、AI生成歪みなど、複数の歪みタイプをサポートします。
-
画像品質比較これは、2つの画像をペアで比較することで相対的な品質を判断し、解釈可能な品質説明テキストを生成します。
- 自己進化型反復トレーニングオフライン段階では、多数決によって信頼性の高い擬似ラベルが生成され、オンライン段階では、GRPO最適化戦略を用いて閉ループ型の自己改善メカニズムが構築される。
EvoQualityの技術原則
- オフラインでの擬似タグ生成このアルゴリズムは、ラベル付けされていない画像ペアに対して複数のクエリを実行し、現在の仮想モデル（VLM）が「どちらの画像の品質が良いか」を判断できるようにします。ペアごとの多数決投票によって相対的な品質の合意が確立され、手動によるMOS（動作法）ラベル付けを完全に置き換える擬似ランキングラベルが生成されます。サーストンケースV心理測定モデルは、離散的な比較結果を連続的な品質スコア分布に変換し、最適化可能な忠実度報酬信号を生成します。
- オンライン戦略の進化GRPOアルゴリズムは、擬似ラベルを報酬信号に変換してVLMポリシーを更新するために使用されます。アドバンテージ関数は、グループ内のサンプルの相対的な報酬によって推定されるため、トレーニングメモリと計算オーバーヘッドが大幅に削減されます。ポリシーモデルは、同じバッチの画像ペアに対して複数の応答を生成し、擬似ラベルから計算された報酬の勾配に基づいてポリシーを更新します。
- 反復進化メカニズム複数回の反復処理により、モデルの性能が向上し、より高品質な擬似ラベルが生成され、さらにモデルが進化するという好循環が生まれます。実験結果によると、サンプル数ゼロのPLCCは平均31.8%の改善を達成しています。
EvoQualityの使い方
- 環境準備Python 3.8以降と、PyTorchやTransformersなどの関連ライブラリをインストールし、GPU環境が利用可能であることを確認してください。
- モデル読み込み中ハグフェイスから引っ張る
ByteDance/EvoQualityモデルの重みファイルとプロセッサファイルはローカルに保存されます。 - 単一画像の品質スコアシステムは評価対象の画像を読み込み、「この画像の品質を0から100の範囲で評価してください」といったプロンプトを作成し、それをモデルに入力します。モデルは、連続的な品質スコアと、品質上の欠点や利点を説明する構造化されたテキストを出力します。
- 画像品質比較比較する2つの画像を用意し、「どちらの画像の方が画質が良いですか？理由を説明してください。」などの質問文を作成して、モデルに入力します。
- バッチ評価画像データセットに対してバッチ推論が実行され、複数のクエリに基づく多数決メカニズムを使用して、信頼性の高い擬似ラベルが生成されます。
- 自己進化トレーニング（上級編）生成された擬似ラベルは、GRPOアルゴリズムを使用してモデルを微調整するために使用され、評価精度を継続的に向上させるための新たな反復進化ラウンドが開始されます。
EvoQualityの主な利点
-
ラベル貼付費用はゼロ主観的な人間の評価や歪んだラベル付けは一切不要で、モデル内部でのペアワイズ比較と多数決のみによってトレーニング信号を生成できます。
-
教師あり学習モデルを上回る性能本手法は、7つのIQAベンチマークのうち5つにおいて、最先端の教師ありVLMベースのIQA手法を凌駕し、ゼロサンプルPLCCでは平均31.8%の改善を実現した。
-
自己進化型閉ループ機能複数回の反復処理を通じて、正のフィードバックループが形成されます。擬似ラベルの生成→モデルのトレーニング→モデルの強化→より良いラベルの生成、そして継続的にパフォーマンスの限界を突破していくというサイクルです。
-
データセット間での強力な汎化性能これは、知覚尺度の再調整や新しいデータセットのための再学習を必要とせずに、ゼロショットのクロスドメイン評価を自然にサポートします。
EvoQualityのプロジェクトアドレス
- ハギングフェイスモデルライブラリ：https://huggingface.co/ByteDance/EvoQuality
- arXiv技術論文：https://arxiv.org/pdf/2509.25787
EvoQualityの類似製品の比較
| 寸法 | EvoQuality | VisualQuality-R1 |
|---|---|---|
| 監督方法 | 完全に自己監視型で、手動による注釈は一切不要です。 | グラウンドトゥルースとして、手動によるMOSアノテーションが必要です。 |
| コアアルゴリズム | GRPO + ペアになった多数決擬似ラベル + 複数ラウンドの自己進化 | GRPO + サーストンモデル + 継続的な忠実度ボーナス |
| 報酬源 | このモデルは独自の擬似ランキングラベルを生成します（外部からの注釈は不要です）。 | 人工MOS計算に基づく連続忠実度測定 |
| モデルの基本 | Qwen2.5-VL-7B | Qwen2.5-VL-7B |
| トレーニングメカニズム | オフライン擬似タグ生成 → オンラインGRPO最適化 → 反復閉ループ進化 | 固定ラベルデータセットに依存する、単一ラウンド/限定ラウンドの強化学習トレーニング |
| データ依存性 | データ取得は無料で、ラベル付けされていない画像のみが必要です。 | KADID-10K、TID2013、KonIQ-10kなどのMOSを含むデータセットが必要です。 |
| 反復機能 | 複数回のブートストラップ反復をサポートし、モデルとラベルの品質を相互に向上させることができます。 | 学習が収束すると、ラベル付きデータのサイズによって制限されるため、それ以上の進化は停止する。 |
| 説明可能性 | 出力品質スコア + 構造化された品質説明テキスト | 出力品質スコア + 推論プロセス + 品質説明 |
| データセット全体にわたるトレーニング | 自然なサポート、知覚的なスケールの再調整は不要 | スケール調整を必要とせずに、複数のデータセットでのトレーニングをサポートします。 |
EvoQualityの応用事例
- AIGCコンテンツ品質検査テキストから画像への編集、画像の超解像、古い写真の修復など、AIが生成したコンテンツの知覚品質を自動的に評価し、手動によるレビューを不要にすることで、コンテンツプラットフォームの運用コストを削減します。
- 画像圧縮と伝送の最適化圧縮画像の品質をリアルタイムで評価し、帯域幅と画質の最適なバランスを見つけることができるため、ビデオストリーミングやクラウドストレージなどのシナリオに適しています。
- 携帯電話の写真撮影補助具ファインダー画像の品質をリアルタイムで分析し、フォーカス、露出、構図などのパラメータを調整するようユーザーに指示したり、連続撮影から最適な画像を自動的に選択したりします。
- 動画品質評価本研究は、単一フレームの評価を時間軸に拡張し、動的なぼけ、フレーム間の一貫性、ビットレートの変動が視聴体験に与える影響を分析し、ビデオのエンコードや伝送品質の監視に活用する。