HunyuanVideo-Foley - テンセント Hunyuan オープンソースビデオ音声生成モデル

HunyuanVideo-Foleyとは何ですか？

HunyuanVideo-Foleyは、TencentのHunyuanチームが開発したオープンソースのエンドツーエンドのビデオ・オーディオ生成モデルです。このモデルは、入力されたビデオとテキストの説明に基づいて、ビデオの映像に正確にマッチする高品質のオーディオ効果を生成し、既存のAIビデオ生成におけるオーディオ効果の欠落という問題を解決します。大規模で高品質なテキスト・ビデオ・オーディオデータセットでトレーニングされたこのモデルは、革新的なマルチモーダル拡散トランスフォーマーアーキテクチャと表現アライメント損失関数を利用して、強力な汎化能力、マルチモーダル意味等化応答、およびプログレードのオーディオ忠実度を実現しています。複数のベンチマークで優れたパフォーマンスを発揮し、ショートビデオ制作、映画制作、その他の分野で幅広く利用されています。

HunyuanVideo-Foleyの主な機能

• 自動効果音生成入力された動画とテキストの説明に基づいて、動画に正確にマッチした効果音を生成し、無音のAI動画に没入感のある聴覚体験をもたらします。
• マルチシナリオアプリケーションショートビデオ制作、映画制作、広告制作、ゲーム開発など、さまざまな場面に適用可能で、クリエイターがシーンに基づいた効果音を効率的に生成し、コンテンツの魅力とプロフェッショナリズムを高めるのに役立ちます。
• 高品質な音の生成生成される効果音はプロ仕様のオーディオ忠実度を備えており、滑りやすい路面を走行する車の音のディテールや、エンジンがアイドリング状態から轟音へと変化する際のダイナミックな変化など、様々なディテールや質感を正確に再現できるため、プロの制作における音質要件を満たしています。
• マルチモーダル意味等化応答このシステムは、映像を理解し、テキストによる説明と組み合わせることで、さまざまな情報源のバランスを自動的に調整し、豊かで重層的な合成効果音を生成します。これにより、テキストの意味情報に過度に依存することで映像の意味情報が軽視されるという問題を回避し、効果音がシーン全体と高い整合性を保つことを保証します。

HunyuanVideo-Foleyの技術原理

• 大規模データセットの構築自動的にラベル付けおよびフィルタリングされた音声および動画データに基づいて、約10万時間分の高品質なテキスト・動画・音声（TV2A）データセットが構築され、モデルのトレーニングのための強力なデータサポートを提供し、モデルが強力な汎化能力を持つことを可能にした。
• マルチモーダル拡散コンバーターアーキテクチャデュアルストリームマルチモーダル拡散トランスフォーマー（MMDiT）アーキテクチャを使用することで、ビデオとオーディオ間のフレームレベルのアライメント関係を共同自己注意機構によってモデル化し、テキスト情報をクロスアテンション機構によって注入することで、マルチモーダルデータにおけるモダリティ競合問題を解決し、ビデオ、オーディオ、テキスト間の正確なアライメントを実現します。
• 表現アライメント（REPA）損失関数この手法は、事前学習済みの音声特徴量を用いて、モデリングプロセスに意味的および音響的なガイダンスを提供します。事前学習済み表現と内部表現間のコサイン類似度を最大化することで、音声生成の品質と安定性を大幅に向上させ、背景雑音や不整合な音響効果を効果的に抑制し、プロレベルの音声忠実度を実現します。
• オーディオVAE最適化改良されたオーディオ変分オートエンコーダー（VAE）は、離散的なオーディオ表現を連続的な128次元表現に置き換えることで、オーディオ再構成能力を大幅に向上させ、効果音生成の品質をさらに高めます。

HunyuanVideo-Foleyのプロジェクトアドレス

• プロジェクト公式サイト：https://szczesnys.github.io/hunyuanvideo-foley/
• GitHubリポジトリ：https://github.com/Tencent-Hunyuan/HunyuanVideo-Foley
• ハギングフェイスモデルライブラリ：https://huggingface.co/tencent/HunyuanVideo-Foley
• arXiv技術論文：https://arxiv.org/pdf/2508.16930
• オンラインでデモを体験してください：https://huggingface.co/spaces/tencent/HunyuanVideo-Foley

HunyuanVideo-Foleyの応用事例

• ショートビデオ制作ペットが走る音など、短い動画に合った効果音を素早く生成し、コンテンツをより生き生きとさせることができます。
• 映画製作これは、映画のポストプロダクションにおける音響デザイン、例えばSF映画における宇宙船の轟音の生成などを支援し、制作効率の向上に貢献する。
• 広告の創造性自動車広告の魅力とインパクトを高めるために、エンジン音などの効果音を生成する。
• ゲーム開発キャラクターが森の中を歩く際に鳥のさえずりが聞こえるなど、ゲームシーンの効果音をリアルタイムで生成することで、没入感を高めることができる。
• オンライン教育学習意欲を高めるために、火山噴火の轟音など、教育ビデオに臨場感あふれる効果音を追加しましょう。