MatAnyone - 南洋理工大学とSenseTimeが共同開発した、縦長動画切り抜きフレームワーク。

MatAnyoneとは何ですか？

南洋理工大学のS-LabとSenseTimeが開発したMatAnyoneは、複雑な背景に対してポートレート動画を合成するための高度なフレームワークであり、特定の動画合成タスクに特化しています。MatAnyoneは、一貫性のあるメモリ伝播モジュールと領域適応型メモリ融合技術を採用することで、動画シーケンスのコア領域における意味的な安定性と、きめ細かな境界の詳細を保証します。また、MatAnyoneは、大規模なセグメンテーションデータを用いて合成ヘッドを直接監視する新しいトレーニング戦略を導入し、実世界のシナリオにおけるモデルの安定性と汎化能力を大幅に向上させています。さらに、高品質で多様なトレーニングデータセットVM800と、より難易度の高いテストデータセットYoutubeMatteが付属しており、モデルのトレーニングと評価のための強固な基盤を提供します。

MatAnyoneの主な機能

• 安定したターゲット追跡動画全体を通して対象物を安定して追跡し、複雑な背景やぼやけた背景でも対象物の完全性を維持します。
• きめ細かなエッジディテールの抽出高品質なアルファマスクの生成をサポートし、特に境界領域（髪の毛、エッジなど）において優れた性能を発揮し、画像レベルのディテール精度を実現します。
• さまざまなビデオ形式に対応可能MatAnyoneは、映画、ゲーム、スマートフォン動画など、さまざまな種類の動画を処理でき、さまざまなフレームサイズやメディア形式に対応します。
• インタラクティブ性の向上ユーザーは最初のフレームでターゲットとなるセグメンテーションマスクを指定することで、ビデオの切り抜きプロセス全体をガイドすることができ、より精度の高いインタラクティブなビデオ編集が可能になります。

MatAnyoneの技術原則

• 一貫性のあるメモリ伝播：
  • メモリフュージョンCMPモジュールは、現在のフレームと前のフレーム間のアルファ値の変化の推定値に基づいて、前のフレームからの情報を適応的に融合します。「大きな変化」のある領域（通常は境界付近）では、現在のフレームからの情報をより重視し、「小さな変化」のある領域（通常はコア領域）では、前のフレームからの情報を保持します。
  • 地域適応軽量な境界領域予測モジュールに基づいて、各クエリトークンの変更確率を推定し、領域適応型メモリ融合を可能にすることで、コア領域の意味的安定性と境界領域の詳細精度を大幅に向上させる。
• コアエリアの監督：
  • セグメント化されたデータの直接監視実世界のビデオマッティングデータの不足を克服するため、MatAnyoneは大規模な実世界のセグメンテーションデータを用いてマッティングヘッドを直接監視します。コア領域ではピクセルレベルの損失（Lcore）、境界領域では改良されたDDC損失（Lboundary）を用いることで、意味的な安定性と詳細な精度を確保します。
  • DDC損失の改善DDC損失の計算方法を調整することで、ビデオマット処理により適したものとなり、従来のDDC損失によって境界領域で発生するギザギザや段差のあるエッジを回避できます。
• 新しいデータセットとトレーニング戦略：
  • 高品質なトレーニングデータセット新しいトレーニングデータセットであるVM800が導入されました。これは既存のデータセットVideoMatte240Kの2倍のサイズで、コア領域と境界領域の品質が向上しており、モデルのトレーニング効果を大幅に向上させます。
  • 多段階トレーニング多段階の学習戦略を採用する。まず、ビデオマッティングデータに基づいてモデルを初期化し、次にセグメンテーションデータに基づいてコア領域の監視を行い、最後に画像マッティングデータを使用して境界の詳細をさらに最適化する。
• ネットワークアーキテクチャ：
  • エンコーダResNet-50エンコーダーは、特徴量を抽出し、クエリとキーを生成するために使用されます。
  • オブジェクトトランスフォーマーオブジェクト変換モジュールに基づき、低レベルのピクセルマッチングによって発生するノイズを低減するため、ピクセルレベルのメモリはオブジェクトの意味論に従ってグループ化される。
  • デコーダデコーダーは、マルチレベルアップサンプリングとスキップ接続に基づいて、高精度のアルファマスクを生成する。
  • 値エンコーダー予測されたアルファマスクと画像の特徴は、メモリライブラリの更新に使用する値にエンコードされます。

MatAnyoneのプロジェクトアドレス

• プロジェクト公式サイト：https://pq-yang.github.io/projects/MatAnyone/
• GitHubリポジトリ：https://github.com/pq-yang/MatAnyone
• arXiv技術論文：https://arxiv.org/pdf/2501.14677

MatAnyoneのアプリケーションシナリオ

• 映画・テレビのポストプロダクション背景の置き換えや特殊効果の合成に使用され、元の背景から俳優を正確に抽出し、仮想背景や特殊効果の背景に置き換えることで、画像の視覚効果と創造的な可能性を高めます。
• ビデオ会議とライブストリーミングビデオ会議やライブストリーミングでは、プライバシー保護と視覚効果を高めるために、人物を複雑な背景からリアルタイムで分離し、仮想背景やぼかし背景に置き換えることができる。
• 広告とマーケティング広告ビデオ制作において、商品や人物を撮影背景から切り抜き、より魅力的な背景に置き換えることで、広告の視覚的なインパクトと魅力を高めることができる。
• ゲーム開発ゲーム内のキャラクターアニメーションやカットシーンなどのビデオコンテンツ制作において、撮影背景からキャラクターを正確に抽出し、ゲームシーンに置き換えることで、ゲームの没入感を高めるために使用されます。
• 仮想現実と拡張現実VR（仮想現実）やAR（拡張現実）アプリケーションでは、現実世界のシーンからユーザーやオブジェクトが抽出され、仮想環境に統合されることで、ユーザーエクスペリエンスとインタラクションが向上します。