VE-Bench - 北京大学が開発した、動画編集品質を評価するための初のオープンソースの新しい指標。 - AiBoss

VE-Benchとは何ですか？

北京大学MMCAL研究チームが最近発表したVE-Benchは、動画編集の品質評価のために特別に設計された初の指標です。VE-Benchは人間の知覚に非常に近いように設計されており、動画編集結果をより正確に評価できます。編集された動画を評価する際、VE-Bench QAは、従来の動画品質評価方法で重視されていた美観や歪みといった視覚的な品質指標だけでなく、テキストと動画の整合性や、元の動画と編集後の動画間の相関関係のモデリングにも重点を置いています。

VE-Benchは、VE-Bench DBとVE-Bench QAの2つの主要部分から構成されています。VE-Bench DBは、ソース動画、編集手順、さまざまな動画編集モデルによる編集結果、そして多様なバックグラウンドを持つ24名の参加者による主観評価サンプル（合計28,080件）を豊富に収録した動画品質評価データベースです。VE-Bench QAは、テキスト主導型の動画編集タスク向けに特別に設計された、定量的で人間の知覚に合致した評価ツールです。VE-BenchのコードとデータはGitHubで公開されています。

VE-Benchの主な機能

動画品質評価モデル（VE-Bench QA）VE-Benchには、編集済み動画の人間による知覚と一致する指標を提供するように設計された品質評価モデルが含まれています。従来の動画品質評価方法で重視される美観や歪みといった視覚的な品質指標を考慮するだけでなく、テキストと動画の整合性や、ソース動画と編集済み動画間の相関モデリングにも重点を置いています。
動画品質評価データベース（VE-Bench DB）VE-Bench DBは、動画編集用に構築された動画品質評価データベースです。豊富なソース動画、編集手順、さまざまな動画編集モデルによる編集結果、そして異なる経歴を持つ24名の参加者による主観評価サンプル（合計28,080件の評価サンプル）が含まれています。
テキストと動画の一貫性評価VE-Bench QAは、動画とテキストの相関モデリングにBLIPをベースとしています。時間アダプタを追加することでBLIPの視覚ブランチを3次元に拡張し、テキストブランチの結果との相互注意によって出力を得ます。
元動画 - 編集済み動画の動的相関評価VE-Bench QAは、時空間トランスフォーマーを用いて、ソースビデオと編集済みビデオを高次元空間に投影します。それらを結合した後、アテンション機構を用いて両者の相関を計算し、最終的に回帰計算によって対応する出力を取得します。
従来の視覚的品質評価VE-Bench QAは、自然シーンの動画品質評価に関する優れた研究であるDOVERを参照し、美観と歪みの観点から事前学習されたバックボーンネットワークを通して対応する結果を出力します。
多次元評価VE-Bench QAは、テキスト主導のビデオ編集を、テキストとビデオの一貫性、ソースビデオと編集後のビデオの動的な関連性、および従来の視覚的品質という3つの側面から評価します。

VEベンチの技術原理

線形層回帰最終スコアは、各ブランチの出力を線形層回帰に通すことによって得られます。
深層学習アルゴリズムVE-Benchは高度な深層学習アルゴリズムを採用し、多数の実際のビデオサンプルから学習することで、人間の視覚系と聴覚系をシミュレートできるモデルを構築しました。
マルチモーダル学習フレームワークVE-Benchは、動画内の画像、音声、テキスト情報を同時に処理できます。VE-Benchは、多数の実際の動画サンプルを用いたトレーニングを通じて、動画の技術的パラメータを分析し、定量化が難しい芸術的な美しさや感情表現を捉える方法を習得しました。

VE-Benchプロジェクトの住所

GitHubリポジトリ：https://github.com/littlespray/VE-Bench
arXiv技術論文：https://arxiv.org/pdf/2408.11481

VE-Benchの応用シナリオ

映画製作VE-Benchは、映画のポストプロダクションにおいて、監督や編集者が各ショットの色、照明効果、トランジションが期待どおりであるかどうかを分析するのに役立ち、映画の感情的な雰囲気が正確に伝わるようにします。
ショートビデオプラットフォームのコンテンツ最適化ショートビデオ制作者は、VE-Benchを使用して、ビデオの視覚効果、音声品質、および物語構成をリアルタイムで監視し、システムの提案に基づいて最適化することで、全体的な視聴体験とエンゲージメント率を向上させることができます。
広告業界における精密マーケティングVE-Benchは動画コンテンツを分析することで、広告業界が的確なマーケティング活動を行うのを支援し、広告動画がターゲット層の感情的・視覚的な期待に合致するようにします。
動画編集品質評価VE-Benchは、編集後の動画と元の動画との関係性を重視します。例えば、「少女のイヤリングを外す」というタスクでは、キャラクターIDを保持する必要があり、元の動画と編集後の動画は強い意味的関連性を持つ必要があります。