project
Step-Audio - Step-Starのオープンソース音声対話モデル
Step-Audioは、Step-Leap Starチームが発表した初の製品レベルのオープンソース音声対話モデルです。さまざまなシナリオのニーズに応じて、感情表現、方言、言語、歌唱スタイル、パーソナライズされたスタイルを生成し、ユーザーとの自然で高品質な対話を実現します。
ステップオーディオとは何ですか？
Step-Audioは、Step-Leap Starチームが発表した初の製品グレードのオープンソース音声対話モデルです。さまざまなシナリオのニーズに応じて、感情、方言、言語、歌声、パーソナライズされたスタイルなど、多様な表現を生成し、ユーザーとの自然で高品質な対話を実現します。130個のパラメータを持つ統一モデルに基づき、音声理解と音声生成を統合し、音声認識、対話、音声合成などの機能をサポートします。Step-Audioの主な特長は、高効率な音声データ生成エンジン、多様な感情や方言に対応したきめ細やかな音声制御機能、強化されたツール呼び出し機能とロールプレイ機能、そして複雑なタスクの効率的な処理です。パフォーマンス面では、複数のベンチマークテストで優れた性能を発揮し、コマンドの正確性や複雑な音声対話シナリオにおいて、圧倒的な優位性を示しています。
Step-Audioの主な機能
- 統合音声理解・生成音声認識（ASR）、意味理解、対話生成、テキスト音声合成（TTS）を同時に処理することで、エンドツーエンドの音声対話を実現します。
- 多言語および方言対応さまざまな地域のユーザーのニーズを満たすため、複数の言語と方言（広東語、四川語など）をサポートしています。
- 感情とスタイルのコントロール特定の感情（怒り、喜び、悲しみなど）やスタイル（ラップ、歌など）を伴う発話の生成をサポートします。
- ツールの使い方とロールプレイングリアルタイムのツール呼び出し（天気予報の確認や情報取得など）やロールプレイングをサポートし、対話の柔軟性とインテリジェンスを向上させます。
- 高品質な音声合成オープンソースのStep-Audio-TTS-3Bモデルをベースにしており、自然で流暢な音声出力を提供するとともに、音声クローンやパーソナライズされた音声生成をサポートしています。
Step-Audioの技術原理
- デュアルコードブック音声セグメンター音声は、言語コードブック（16.7Hz、1024コードブック）と意味コードブック（25Hz、4096コードブック）を用いてセグメント化されます。音声の特徴は、2:3の時間インターリーブ方式を用いて統合され、音声の意味的および音響的表現能力が向上します。
- 130Bパラメータ多峰性大規模モデルこのシステムは、Step-1で事前学習済みのテキストモデルをベースに、音声コンテキストを用いた継続的な事前学習と事後学習によって、音声とテキストの理解および生成能力を向上させます。音声とテキストの双方向インタラクションをサポートし、音声認識、対話管理、音声合成の統合を実現します。
- 混合音声合成装置ストリームマッチングとニューラルボコーダー技術を組み合わせることで、リアルタイムの波形生成を最適化します。音声の感情的・文体的な特徴を維持しながら、高品質な音声出力を実現します。
- リアルタイム推論と低遅延インタラクション推測的な応答生成メカニズムを採用することで、ユーザーが一時停止した際に想定される応答を事前に生成し、インタラクションの遅延を低減します。音声活動検出（VAD）とストリーミング音声セグメンテーションに基づいて、入力音声をリアルタイムで処理し、インタラクションのスムーズさを向上させます。
- 強化学習と指示に従う我々は、強化学習と人間からのフィードバックを組み合わせた手法（RLHF）を用いて、モデルの対話能力を最適化し、生成される音声が人間の指示や意味論理により合致するようにします。指示ラベルと複数ターンの対話学習に基づき、複雑なシナリオにおけるモデルのパフォーマンスを向上させます。
Step-Audioのプロジェクトアドレス
- GitHubリポジトリ：https://github.com/stepfun-ai/Step-Audio
- ハギングフェイスモデルライブラリ：https://huggingface.co/collections/stepfun-ai/step-audio
- 技術論文：https://github.com/stepfun-ai/Step-Audio/blob/main/assets/Step-Audio
Step-Audioの応用シナリオ
- インテリジェント音声アシスタントスマートホーム、オフィス、その他の場面で使用され、音声操作によるタスク完了をサポートします。
- インテリジェントな顧客サービス多言語および方言に対応し、ユーザーの問題に迅速に対応します。
- 教育言語学習を支援し、感情のこもった発声をサポートする。
- エンターテインメントとゲーム没入感を高めるために、パーソナライズされた音声を生成します。
- アクセシビリティ技術視覚障害者や言語障害者が音声を通じてコミュニケーションできるよう支援する。