OmniAudio - Alitongyiが発表した空間オーディオ生成モデル

OmniAudioとは何ですか？

OmniAudioは、アリババ同義研究所の音声チームが開発した、360°動画から空間オーディオ（FOA）を生成する技術です。仮想現実や没入型エンターテイメントにおいて、よりリアルなオーディオ体験を提供します。288のオーディオイベントを網羅し、合計288時間分の103,000以上の動画クリップを含む大規模データセットSphere360を構築することで、モデルトレーニングのための豊富なリソースを提供します。OmniAudioのトレーニングは2つの段階で構成されています。1つ目は、大規模な非空間オーディオリソースに基づいた、自己教師ありの粗密フローマッチング事前トレーニングです。2つ目は、バイブランチ動画表現に基づいた教師ありの微調整で、音源方向を表現するモデルの能力を高めます。

OmniAudioの主な機能

• 空間オーディオを生成する360°動画からFOAオーディオを直接生成できます。このオーディオは、音の方向性を捉え、リアルな3Dオーディオ再生を実現する標準的な3D空間オーディオフォーマットです。音を表現するために4つのチャンネル（W、X、Y、Z）を使用し、Wチャンネルは全体の音圧レベルを、X、Y、Zチャンネルはそれぞれ前後、左右、垂直方向の音情報を捉えます。これにより、頭部が回転しても正確な音源定位が保証されます。
• 没入感を高めるこの技術は、バーチャルリアリティや没入型エンターテインメントに全く新しい可能性を切り開きます。従来の映像音声生成技術では主に非空間的な音声しか生成できず、没入型体験における3D音響定位の要件を満たせないという問題を解決できます。

OmniAudioの技術原理

• 自己教師あり粗密ストリームマッチング事前学習
  • データ処理実際のFOAデータが不足しているため、研究チームは大規模な非空間オーディオリソース（FreeSound、AudioSet、VGGSoundなど）を利用してステレオサウンドを「擬似FOA」フォーマットに変換しました。具体的には、Wチャンネルは左右チャンネルの合計を表し、Xチャンネルは左右チャンネルの差を表し、YチャンネルとZチャンネルはゼロに設定されます。
  • モデルトレーニング変換された「擬似FOA」オーディオは、4チャンネルVAEエンコーダに入力され、潜在表現を取得します。次に、一定の確率でランダムな時間ウィンドウマスクが適用されます。マスクされた潜在シーケンスは、完全なシーケンスとともに、ストリームマッチングモデルへの条件付き入力として使用されます。このモデルは、マスキング前後の潜在状態間の速度場の差を最小化することにより、オーディオの時間シーケンスと構造の自己教師あり学習を実現します。この段階により、モデルは一般的なオーディオの特徴とマクロ的な時間パターンを把握できるようになり、空間オーディオのその後の改良の基礎が築かれます。
• 2分岐ビデオ表現に基づく教師あり微調整
  • データ活用実際のFOAオーディオデータのみを使用して、マスクストリームマッチングのトレーニングフレームワークを継続しますが、今回はモデルの注意は4つのチャネルの空間特性に完全に集中します。
  • モデル強化実際のFOA潜在シーケンスをより高い確率でマスクすることにより、音源の方向（W/X/Y/Zの4つのチャンネル間の相補関係）を表現する能力が向上し、デコード側での高忠実度空間オーディオの詳細の再構成効果が向上します。
  • 2分岐の組み合わせ自己教師あり事前学習が完了した後、モデルはデュアルブランチビデオエンコーダと組み合わされます。入力の360°パノラマビデオに対して、フリーズされたMetaCLIP-Huge画像エンコーダを使用してグローバル特徴を抽出します。同時に、同じビデオからローカルFOVビューが切り出され、同じエンコーダを使用してローカルの詳細表現を取得します。グローバル特徴は最大プーリングされ、Transformerのグローバル条件として使用されます。一方、ローカル特徴は時間的にアップサンプリングされ、プログレッシブ生成プロセスにおいて、オーディオ潜在シーケンスとともに要素ごとにローカル条件として追加されます。
  • 微調整と出力事前学習済みの初期化パラメータの一般的な方向性を維持しながら、条件付きフローフィールドを効率的に微調整することで、ノイズの中から視覚的な指示に適合するFOAポテンシャル軌道を正確に「切り出す」ことができます。微調整後、推論段階では、学習済みの速度フィールドのみをサンプリングし、VAEデコーダによって波形を復元することで、360°ビデオと高い精度で一致する、方向性の正確な4チャンネル空間オーディオを出力します。

OmniAudioのプロジェクトアドレス

• プロジェクト公式サイト：https://omniaudio-360v2sa.github.io/
• GitHubリポジトリ：https://github.com/liuhuadai/OmniAudio
• arXiv技術論文：https://arxiv.org/pdf/2504.14906

OmniAudioの応用事例

• バーチャルリアリティ（VR）と没入型体験OmniAudioは、VRコンテンツ向けに視覚シーンに高度にマッチした空間オーディオを生成することができ、ユーザーの没入感を高めます。
• 360°ビデオのサウンドトラック360度パノラマ動画向けに臨場感あふれるサウンドエフェクトを自動的に生成し、視聴者に動画視聴時のよりリアルな聴覚体験を提供します。
• インテリジェント音声アシスタントスマートスピーカーやスマート家電などのスマートホーム機器に統合することで、音声による制御や操作が可能になります。ユーザーは音声コマンドを使って家電を操作したり、温度を調整したり、情報を照会したりできます。
• ロボット工学および自動運転分野OmniAudioはロボット工学や自動運転に応用でき、これらのシステムに、より正確な音源定位と環境認識機能を提供する。