Xiaomiは、制御可能な映像・音声生成モデルであるControlFoleyをオープンソース化した。

Xiaomiの大規模モデルアプリケーションチームは、テキストガイド付きビデオ吹き替え、テキスト制御ビデオ吹き替え、リファレンスオーディオ制御ビデオ吹き替えの3種類のタスクを統一的にサポートする、制御可能なビデオオーディオ生成モデルであるControlFoleyをオープンソース化しました。このモデルは、視覚エンコーディング、時間的・音色分離、およびモーダルロバストトレーニングを組み合わせることで、既存のソリューションにおけるテキスト制御の弱さやリファレンスオーディオの同期の難しさといった課題を解決し、VGGSound-Testを含む複数のベンチマークで最先端（SOTA）のパフォーマンスを実現しています。