Meta社は、マルチモーダルオーディオ分離における画期的な新技術であるSAM Audioを発表しました。

Meta社は、テキスト、画像、または時間ベースの手がかりを用いて複雑な音声から目的の音声を正確に抽出できる、初の統合型マルチモーダル音声分離モデル「SAM Audio」をリリースしました。このモデルは知覚エンコーダーを用いたオーディオビジュアル技術に基づいており、ユーザーは動画内のオブジェクトをクリックして対応する音声を分離したり、「犬の鳴き声」などのテキストコマンドを入力してノイズを除去したりすることができます。