Kling-Foley - Kling AIが発表したマルチモーダルビデオオーディオ生成モデル

クリング・フォーリー法とは何ですか？

Kling-Foleyは、Kling AIが開発したマルチモーダルビデオオーディオ生成モデルです。ビデオとテキストプロンプトを入力として、ビデオコンテンツに意味的に関連し、時間的に同期した高品質のステレオオーディオを生成します。効果音やBGMなど、さまざまな種類のサウンドコンテンツに対応し、任意の長さのオーディオ生成をサポートします。マルチモーダル制御ストリームマッチングアーキテクチャに基づき、マルチモーダル特徴融合と特定モジュール処理を用いて、オーディオとビデオの正確なアライメントを実現します。大規模な独自構築マルチモーダルデータセットで学習されたこのモデルは、優れたオーディオ生成性能を発揮し、オーディオ生成分野の最先端を走り、ビデオコンテンツ制作のためのより効率的で高品質なオーディオソリューションを提供します。

クリング・フォーリーの主な機能

• 高品質な音の生成入力されたビデオコンテンツとオプションのテキストプロンプトに基づいて、ビデオと意味的に関連し、時間的に同期した高品質のステレオオーディオを生成し、効果音やBGMなど、さまざまな種類のサウンドコンテンツを網羅することで、さまざまなシナリオのオーディオニーズに対応します。
• 任意の長さの音声を生成するあらゆる長さの音声コンテンツの生成に対応しており、入力ビデオの長さに動的に適応できます。
• ステレオレンダリングステレオレンダリング機能を備え、空間指向の音源モデリングとレンダリングをサポートし、生成されるオーディオに強い空間感と没入感をもたらします。

クリング・フォーリーの技術原理

• マルチモーダル制御のためのフローマッチングモデルKling-Foleyは、マルチモーダル制御ストリーミングマッチングモデルです。その基本原理は、テキスト、ビデオ、および時間抽出されたビデオフレームを条件付き入力として使用し、マルチモーダル結合条件モジュールでそれらを融合し、処理のためにMMDitモジュールに入力することです。このマルチモーダル制御アプローチにより、モデルはビデオコンテンツをより適切に理解し、それに合った音声を生成することができます。
• モジュール処理フロー本モデルの処理フローは、いくつかの主要モジュールで構成されています。マルチモーダル特徴は、マルチモーダル結合条件モジュールに基づいて融合され、MMDitモジュールに入力されてVAE潜在特徴が予測されます。潜在特徴は、事前学習済みのメルデコーダによって単一チャネルのメルスペクトログラムに再構築されます。単一チャネルスペクトログラムは、Mono2Stereoモジュールに基づいてステレオスペクトログラムにレンダリングされ、出力波形はボコーダーを使用して生成されます。
• 視覚的意味表現および音声/映像同期モジュールKling-Foleyアーキテクチャは、視覚的意味表現モジュールと音声・映像同期モジュールを導入しており、フレームレベルでの映像条件と音声潜在要素の整合をサポートすることで、映像の意味的整合と音声・映像同期の効果を向上させ、生成される音声が時間と内容の両面で映像と高度に一致することを保証します。
• 離散期間埋め込みKling-Foleyは、グローバル条件メカニズムの一部として離散時間埋め込みを導入しています。これにより、モデルは長さの異なるビデオ入力をより適切に処理し、ビデオの長さに合わせて調整されたオーディオコンテンツを生成できるようになります。
• ユニバーサル地下オーディオコーデック音声潜在表現レベルにおいて、Kling-Foleyは汎用的な潜在音声コーデックを適用し、効果音、音声、歌唱、音楽など、多様なシナリオで高品質なモデリングを実現します。その中核となるのがMel-VAEであり、Melエンコーダ、Melデコーダ、および識別器を共同で学習することで、モデルが連続的かつ完全な潜在空間分布を学習できるようになり、音声表現能力が大幅に向上します。

クリング＝フォーリーのプロジェクト住所

• プロジェクト公式サイト：https://klingfoley.github.io/Kling-Foley/
• GitHubリポジトリ：https://github.com/klingfoley/Kling-Foley
• arXiv技術論文：https://www.arxiv.org/pdf/2506.19774

クリングフォーリーの応用

• 動画コンテンツ制作アニメーション、ショートビデオ、広告などの動画制作において、正確にマッチした効果音やBGMを提供することで、動画の魅力とプロフェッショナリズムを高め、制作効率を向上させます。
• ゲーム開発武器の発射音、キャラクターの動き、環境音など、リアルなシーン効果音やBGMを生成し、ゲームへの没入感とプレイヤー体験を向上させます。
• 教育と訓練教育ビデオや仮想トレーニング環境に適切な効果音やBGMを追加することで、教育やトレーニングのリアリティと魅力が高まり、学習成果の向上につながります。
• 映画およびテレビ制作映画、テレビシリーズ、その他の映像作品向けに高品質な効果音やBGMを制作し、音質と物語の感情的なインパクトを高めます。
• ソーシャルメディアユーザーは、共有する動画にマッチする効果音やBGMを簡単に追加でき、コンテンツの魅力を高めることができます。