Stable Audio Open Small - Stability AIとArmによるテキスト音声生成モデル

Stable Audio Open Smallとは何ですか？

Stable Audio Open Smallは、Stability AIがArmと共同開発した軽量なテキスト音声生成モデルです。Stable Audio Openモデルをベースに、パラメータ数を11億から3億4100万に削減することで、生成速度を向上させ、モバイルデバイス上でドラムループや効果音などの音声を迅速に生成できるようになりました。このモデルはArmのKleidiAIテクノロジーを活用し、エッジデバイスでのパフォーマンスを最適化するとともに、計算コストを削減し、複雑なハードウェアサポートを必要としません。スマートフォンやエッジデバイスなど、リアルタイム音声生成のシナリオに適しています。

Stable Audio Open Smallの主な機能

• テキスト音声生成ユーザーが入力したテキストプロンプトに基づいて、特定の楽器の音、環境音、シンプルな音楽クリップなど、対応する音声コンテンツを生成します。
• 高速オーディオ生成モバイルデバイス上で8秒以内に音声を生成できるため、リアルタイムアプリケーションに適しています。
• 軽量設計パラメータ数が11億個から3億4100万個に削減されたことで、モデルがより軽量化され、リソースに制約のあるデバイスでの実行に適したものとなった。
• 高効率運転このモデルはエッジデバイス上でより効率的に動作するため、計算コストを削減できます。
• 多様な音声生成短いオーディオサンプル、効果音、楽器クリップ、環境音テクスチャの生成をサポートしているため、クリエイティブなオーディオ制作やリアルタイムオーディオアプリケーションに適しています。

安定オーディオオープン小型の技術原理

• 深層学習に基づく生成モデル深層学習アーキテクチャに基づき、大量の音声データを用いてモデルを訓練し、テキストによる説明を理解して対応する音声を生成する。テキストと音声のエンコードおよびデコードには、Transformerアーキテクチャなどの高度なニューラルネットワーク技術が用いられる。
• パラメータ最適化この手法では、モデルパラメータの数を削減（11億個から3億4100万個へ）することで、モデルの複雑さと計算負荷を軽減しつつ、高い出力品質を維持します。さらに、量子化や枝刈りなどのモデル圧縮技術を用いて、モデル性能を最適化します。
• エッジコンピューティングの最適化Arm KleidiAIライブラリをベースに、Arm CPU向けに最適化されているため、モバイルデバイスやエッジデバイス上でモデルを効率的に実行できます。最適化されたアルゴリズムとハードウェアアクセラレーションにより、音声生成時間と計算コストを削減します。
• 高効率推論エンジンモデルの推論プロセスは最適化されており、モバイルデバイス上で音声生成タスクを迅速に完了できるため、リアルタイムアプリケーションに適しています。推論アルゴリズムの改善とハードウェアへの適応により、モデルの応答速度とユーザーエクスペリエンスが向上しています。

Stable Audio Open Small のプロジェクトアドレス

• プロジェクト公式サイト：https://stability.ai/news/stability-ai-and-arm-release-stable-audio-open-small
• GitHubリポジトリ：https://github.com/Stability-AI/stable-audio-tools
• ハギングフェイスモデルライブラリ：https://huggingface.co/stabilityai/stable-audio-open-small
• arXiv技術論文：https://arxiv.org/pdf/2505.08175

Stable Audio Open Small のアプリケーションシナリオ

• モバイル音楽制作携帯電話で音楽クリップや効果音を素早く生成できるので、いつでもどこでも手軽に音楽制作ができます。
• ゲーム効果音生成ゲームの背景音楽や効果音をリアルタイムで生成し、ゲームの没入感を高めます。
• 動画のBGMこれは、動画制作者が適切なBGMや効果音を素早く作成するのに役立ち、制作効率を向上させます。
• スマートデバイスのオーディオスマートスピーカーなどのデバイス上でカスタムサウンドエフェクトを生成し、デバイスのスマートな体験を向上させます。
• 教育支援教育コンテンツの楽しさと魅力を高めるために、教育用効果音やBGMを生成します。