VQAScore - CMUとMetaが共同開発した、テキストから画像を生成する際の評価方法。

VQAScoreとは何ですか？

VQAScoreは、カーネギーメロン大学（CMU）とMetaが共同開発した評価手法で、視覚的質問応答（VQA）モデルに基づいてテキストプロンプトから生成された画像の品質を測定します。VQAScoreは、「この図は{text}を示していますか？」という質問に対してモデルが「はい」と答える確率を計算することで、画像とテキストプロンプトの一致度を評価します。VQAScoreの最大の特長は、既存のVQAモデルを直接使用することで、追加の人的注釈が不要になり、確率値という形でより正確な評価結果が得られることです。これにより、CLIPScoreなどの従来の評価指標を凌駕します。VQAScoreは、Imagen3などの複数のプロジェクトに適用され、最先端の生成モデルの自動評価と最適化に活用されています。

VQAScoreの主な機能

• 画像とテキストプロンプトの配置を評価してください。VQAScoreは、生成された画像が与えられたテキストプロンプトと一致するかどうかを、「はい」という回答が計算される確率に基づいて測定します。
• 自動評価これは画像生成モデルを評価するための自動化された方法を提供し、手動による採点の必要性を排除し、大規模かつ迅速な評価を容易にする。
• 評価の精度を向上させる複雑なテキストプロンプトを扱う際の既存の評価方法の欠点を克服し、より正確な評価結果を提供する。
• 複数の生成タスクをサポートVQAScoreは、動画や3Dモデルのためのテキストから画像を生成するタスクを評価できます。
• ベンチマークとモデル改善GenAI-Benchベンチマークセットに基づき、VQAScoreは研究者が自身のモデルの限界を特定し、モデルの改善を導くのに役立ちます。

VQAScoreの技術原則

• 問題テンプレートテキストプロンプトを、「この図は{text}を示していますか？はい、いいえでお答えください。」のような、単純なはい／いいえの質問に変換してください。
• 画像とテキストの同時符号化VQAモデルは、画像と質問（トークンシーケンスに変換済み）を入力として同時にエンコードするために使用されます。
• 答えの確率を予測するVQAモデルのデコーダー出力が、回答（「はい」または「いいえ」）を予測する際の確率分布。
• アライメントスコアを計算するVQAScoreは、モデルが「はい」という回答を予測する確率として定義され、画像とテキストプロンプトの一致度を反映しています。
• 双方向エンコーダ・デコーダアーキテクチャVQAScoreは、双方向エンコーダー・デコーダーアーキテクチャに基づいたCLIP-FlanT5モデルを使用しており、質問内容に応じて画像を埋め込む機能と、質問内容に応じて画像を埋め込む機能の両方をサポートしているため、複雑なテキストプロンプトをより良く理解し、処理するのに役立ちます。
• 追加のデータ微調整は不要ですVQAScoreは、学習時に画像と質問・回答のペアを使用するため、評価時に特定のデータセットに対して追加の微調整は必要ありません。

VQAScoreのプロジェクトアドレス

• プロジェクト公式サイト：linzhiqiu.github.io/papers/vqascore
• GitHubリポジトリ：https://github.com/linzhiqiu/t2v_metrics
• arXiv技術論文：https://arxiv.org/pdf/2404.01291
• オンラインでデモを体験してください：https://huggingface.co/spaces/zhiqiulin/VQAScore

VQAScoreの適用シナリオ

• 画像生成モデルの評価本研究の目的は、DALL-E、Imagen、Stable Diffusionなどのモデルを用いて、テキストプロンプトから生成された画像の精度と品質を評価することである。
• 動画生成モデルの評価テキストからビデオを生成するモデルのパフォーマンスを評価する。例えば、スクリプトや説明に基づいてビデオコンテンツを生成する能力などを評価する。
• 3Dモデル生成評価テキストから3Dモデルを生成するタスク（例えば、説明に基づいて3Dオブジェクトやシーンを生成するタスク）を評価する。
• マルチモーダル学習研究マルチモーダル学習の分野において、VQAScoreは、研究者がモデルがクロスモーダルコンテンツをどのように処理し生成するかを理解するための研究ツールとして役立つ。
• 自動テストと品質管理VQAScoreは、画像、動画、3Dコンテンツの自動テストプロセスにおける品質管理指標として機能します。