SeedFoley - ByteDanceのエンドツーエンドのビデオオーディオ生成モデル

SeedFoleyとは何ですか？

SeedFoleyは、ByteDanceのDoubao Big Model Speech Teamが開発したエンドツーエンドのビデオ音声生成モデルで、ビデオ制作のためのインテリジェントな音声生成サービスを提供します。時空間ビデオ特徴と拡散生成モデルを融合することで、音声とビデオの高い同期を実現します。このモデルは、高速特徴と低速特徴を組み合わせたビデオエンコーダを使用してビデオから時空間特徴を抽出し、入力として元の波形に基づく音声表現モデルが高周波情報を保持することで、音声効果の繊細さを高めます。拡散モデルは、確率パス上の連続マッピング関係を最適化することで、推論ステップ数を削減し、推論コストを低減します。SeedFoleyは、ビデオからフレームレベルの視覚情報を正確に抽出し、アクション音声効果と環境音声効果をインテリジェントに区別し、さまざまなビデオ長をサポートし、音声の精度、同期、マッチングにおいて優れた性能を発揮します。

SeedFoleyの主な機能

• インテリジェントな効果音生成SeedFoleyは、動画からフレームレベルで視覚情報を正確に抽出できます。複数のフレームの情報を分析することで、動画内の主要な話し手やアクションシーン、例えばリズムの強い音楽の瞬間や映画の緊迫した場面などを正確に識別できます。そして、それらの瞬間を正確なタイミングで表示することで、没入感のあるリアルな体験を生み出します。
• 効果音の種類を区別するSeedFoleyは、アクション効果音と環境効果音をインテリジェントに区別することで、動画の物語の緊張感と感情表現の効率を大幅に向上させます。
• 複数の動画長さに対応SeedFoleyは可変長のビデオ入力をサポートしており、音声精度、音声同期、音声マッチングなどの指標において業界トップレベルの性能を実現しています。

SeedFoleyの技術原則

• ビデオエンコーダーSeedFoleyのビデオエンコーダーは、高速特徴と低速特徴を組み合わせて使用します。高フレームレートではフレーム間の局所的な動き情報を、低フレームレートではビデオから意味情報を抽出します。このアプローチにより、少ない計算リソースで8fpsのフレームレベルのビデオ特徴抽出を実現し、きめ細かな動きの位置特定が可能になります。最後に、Transformer構造を用いて高速特徴と低速特徴を融合し、ビデオから時空間特徴を抽出します。
• 音声表現モデル従来のメルスペクトルベースのVAEモデルとは異なり、SeedFoleyは入力として元の波形を使用し、それをエンコードして1次元表現を取得します。高周波情報が保持されるように、音声は32kHzでサンプリングされます。1秒の音声につき32個の潜在音声表現が抽出され、音声の時間分解能が効果的に向上し、音響効果の繊細さが強調されます。
• 拡散モデルSeedFoleyは拡散トランスフォーマーフレームワークを採用し、確率的パスに沿った連続的なマッピング関係を最適化することで、ガウスノイズ分布からターゲットオーディオ表現空間への確率的マッチングを実現します。マルコフ連鎖サンプリングに依存する従来の拡散モデルと比較して、SeedFoleyは連続的な変換パスを構築することで推論ステップ数を効果的に削減し、推論コストを低減します。トレーニングフェーズでは、ビデオ特徴量とオーディオ意味ラベルが潜在空間ベクトルにエンコードされ、チャネル次元に沿って連結され、時間エンコーディングとノイズ信号と混合されて、結合条件付き入力が生成されます。これにより、効果音とビデオ映像間の時間的一貫性が向上します。

SeedFoleyの使い方

• JiMengプラットフォームをご覧くださいJiMengの公式サイトにアクセスするか、JiMengアプリを使用して登録およびログインしてください。
• ビデオを生成するJimengの動画生成機能を選択して、ニーズに合わせて動画コンテンツを作成してください。
• 「AIサウンドエフェクト」機能を選択してください。動画を生成した後、「AIオーディオエフェクト」機能を選択してください。システムが自動的に、動画に合わせたプロ仕様のオーディオエフェクトを3種類生成します。
• サウンドプランをプレビューして選択する生成された効果音プランをプレビューし、ビデオコンテンツに最適なものを選択してください。
• アプリケーションの効果音選択した効果音プランを動画に適用します。
• 予防：
  • 動画の長さSeedFoleyは可変長のビデオ入力をサポートしていますが、生成される効果を確実にするためには、ビデオの長さが長すぎないことを推奨します。
  • 効果音の種類SeedFoleyは、アクション効果音と環境効果音をインテリジェントに区別することで、動画の物語的な緊張感と感情表現の効率性を向上させます。
  • プレビュー効果音のスキームを選択する際は、各スキームの効果を注意深くプレビューし、ビデオコンテンツに最適な効果音を選択することをお勧めします。

SeedFoleyの応用事例

• ライフVlog街の騒音やカフェのBGMなど、リアルな環境音効果をあなたのパーソナルVlogに追加しましょう。
• 短編映画制作短編映画に、ストーリーに合うアクション効果音と環境効果音を追加し、観客の没入感を高めましょう。
• ゲーム開発ゲーム動画に、戦闘効果音や環境効果音などのリアルな効果音を追加することで、ゲーム体験を向上させることができます。
• 動画ポストプロダクション映像のポストプロダクションにおいて、SeedFoleyは映像コンテンツに非常にマッチした効果音を迅速に生成できるため、ポストプロダクションにおける時間とコストを削減できます。
• 広告動画広告動画に魅力的な効果音を加えることで、動画の魅力と拡散力を高めることができます。
• 教育ビデオ教育ビデオに適切な効果音を加えることで、視聴者の学習意欲と注意力を高めることができる。