AudioFly - iFlytekのオープンソースのビニールサウンドエフェクトモデル

AudioFlyとは何ですか？

AudioFlyは、iFlytekが開発したテキストから音声効果を生成するオープンソースのAIモデルです。このモデルは、10億個のパラメータを持つ潜在拡散モデルアーキテクチャを採用し、AudioSet、AudioCaps、TUTなどの多数のオープンデータセットと独自のデータを用いて学習されています。AudioFlyは、最大44.1kHzのサンプリングレートでテキスト記述から高品質な音声を生成でき、生成された効果音はテキスト記述と非常によく一致します。このモデルは、単一イベントと複数イベントの両方のシナリオで優れた性能を発揮し、AudioCapsデータセットにおける性能は、従来の音声生成モデルを凌駕する傑出したものです。AudioFlyは、ショートビデオの吹き替え、音声ストーリーの生成など、さまざまな分野に適しており、サウンド制作に無限の可能性をもたらします。

AudioFlyの主な機能

• テキスト音声生成ユーザーが入力したテキスト記述に基づいて、対応する効果音を生成します。例えば、ユーザーが「遠くで雷が鳴っている」と入力した場合、モデルは対応する雷の効果音を生成できます。
• 高品質な音声出力生成される音声はサンプリングレートが44.1kHzで、クリアな音質を備えているため、様々な用途に適しています。
• マルチシナリオ対応単一イベント（「犬の鳴き声」など）および複数イベント（「犬の鳴き声と風の音」など）のシナリオにおける効果音生成をサポートし、記述された内容を正確に反映することができます。
• 高効率発電高度な拡散モデルアーキテクチャに基づいているため、生成プロセスは効率的で、ユーザーのニーズに迅速に対応できます。

AudioFlyの技術原則

• 潜在拡散モデル（LDM）アーキテクチャAudioFlyは、深層学習に基づく生成モデルである潜在拡散モデルアーキテクチャを採用しています。このモデルは、画像生成における拡散プロセスと同様に、ノイズを段階的に除去することで目標とする音声を生成します。
• 大規模データトレーニングこのモデルは、多数のオープンデータセット（AudioSet、AudioCaps、TUTなど）と社内独自のデータを用いて学習されており、様々な効果音やシーンを網羅しているため、多様な効果音を生成することが可能です。
• 機能の整合性モデルの学習目標を最適化することで、生成される音声が特徴の面で実際の音声と高い一貫性を持ち、内容の面でテキストによる説明と密接に一致するようにします。

AudioFlyのプロジェクトアドレス

• マジックダッシュコミュニティ：https://modelscope.cn/models/iflytek/AudioFly

AudioFlyの応用事例

• ショートビデオの吹き替え短い動画に合わせて効果音を素早く生成でき、動画の魅力と没入感を高めることができます。
• オーディオストーリーの作成テキストの内容に基づいて効果音を生成し、物語の雰囲気や感情表現を高めます。
• 映画およびテレビの音響効果制作これは、映画やテレビの制作チームが必要とする効果音を迅速に生成するのに役立ち、それによって制作効率を向上させます。
• ゲームサウンドデザインゲームシーンに合わせてリアルタイムの効果音を生成し、プレイヤーの没入感と体験を向上させます。
• 広告とマーケティング広告動画や音声コンテンツ向けにカスタム効果音を生成し、広告の魅力と記憶に残る度合いを高めます。