SoulX-FlashTalk - Soul Appのオープンソースリアルタイムデジタル人間生成モデル

SoulX-FlashTalkとは何ですか？

SoulX-FlashTalkは、Soul App傘下のAIチームがオープンソース化した、14パラメータのリアルタイムデジタルヒューマン生成モデルです。0.87秒という低遅延と32fpsの高フレームレートを実現しています。双方向ストリーミング蒸留と多段階自己修正メカニズムを採用することで、無制限の期間にわたる安定した生成、全身の動きによるインタラクション、多言語対応を実現しています。24時間365日のライブストリーミング、バーチャルカスタマーサービス、ゲームNPCなどのシナリオに最適です。HuggingFaceのI2Vトレンドリストで既にトップ5にランクインしており、商用レベルのリアルタイムデジタルヒューマンアプリケーション向けのオープンソースソリューションを提供しています。

SoulX-FlashTalkの主な機能

• リアルタイムの音声および映像生成14Bの大型モデルをベースに、0.87秒というサブ秒単位の低遅延と32fpsの高フレームレート出力を実現し、ライブストリーミングのリアルタイムなインタラクティブ要件を満たしています。
• 音声駆動型デジタル人間音声入力やオーディオ入力の受信に対応しており、仮想アバターの唇の動き、表情、体の動きを正確に同期させて制御します。
• 全身動作合成全身のダイナミックな動きの生成と、非常に高精度な手のジェスチャー表現をサポートします。
• 超長期安定発電自己補正機構により、長期生成においても一貫した同一性、安定した画像、および劣化のない画像品質が保証されます。
• 多言語対応このモデルは、中国語に最適化された音声エンコーダーと中国語・英語のバイリンガル字幕エンコーダーを使用しており、多言語対応のデジタルヒューマンドライビングをサポートしています。
• 無限ストリーム生成24時間365日の連続ライブストリーミングに対応しており、システムはクラッシュや遅延なく安定して動作します。
• マルチスタイル画像アニメーションや実写など、さまざまなビジュアルスタイルに対応しており、多様なアプリケーションシナリオにおける画像カスタマイズのニーズを満たします。

SoulX-FlashTalkの技術的原理

• 双方向流体蒸留ストリーミング生成プロセス中にブロック内双方向アテンション機構を維持することで、時空間的な関連性を効果的に維持しつつ、学習プロセスを大幅に簡素化します。このモデルは、わずか1,000ステップの教師あり微調整と200ステップの蒸留で収束します。従来の手法と比較して、学習効率が23倍向上し、大規模モデルのリアルタイム展開の基盤を築きます。
• 遅延を考慮した時空間適応第一段階のトレーニング戦略として、低解像度の入力、短いフレームシーケンス、動的なアスペクト比のビンに特化して最適化されており、14B個のパラメータを持つ大規模モデルが高速推論のニーズに最初に適応し、生成品質を維持しながら計算負荷を軽減し、大規模モデルのパラメータ数と推論速度の間の矛盾を解消します。
• 多段階レビュー自己修正メカニズムこれは、無限時間生成の安定性を確保するために使用されます。生成プロセス中に蓄積されたエラーをリアルタイムで検出および修正し、エラーが時間とともに雪だるま式に増加するのを防ぎ、長時間のビデオ生成時にも識別特性の一貫性、画像の安定性と滑らかさ、画質の劣化がないことを保証することで、真の「無限ストリーミング」出力を実現します。
• 3D VAE潜在空間圧縮WAN2.1アーキテクチャに基づき、高解像度ビデオの効率的な潜在空間符号化および復号化を実行することで、リアルタイム生成の計算負荷を大幅に軽減します。また、14B DiTジェネレータの完全な3Dアテンションとマルチモーダルクロスアテンションメカニズム、および音声、画像、テキストの多次元符号化のための条件付きエンコーダレイヤーを組み合わせることで、完全なエンドツーエンドのリアルタイムデジタル人間生成システムを構築します。

SoulX-FlashTalkプロジェクトのアドレス

• プロジェクト公式サイト：https://soul-ailab.github.io/soulx-flashtalk/
• GitHubリポジトリ：https://github.com/Soul-AILab/SoulX-FlashTalk
• ハギングフェイスモデルライブラリ：https://huggingface.co/Soul-AILab/SoulX-FlashTalk-14B

SoulX-FlashTalk アプリケーションシナリオ

• 24時間365日対応のAIライブストリーミングルームデジタルヒューマンのeコマースアンカーは、24時間365日途切れることなくライブ配信を行い、リアルタイムでコメントを読み上げて返信することで、自然でスムーズなライブ配信体験を維持しながら、人件費を大幅に削減できます。
• AIバーチャルメンターとインテリジェントカスタマーサービスこれは、銀行の窓口業務やオンライン教育などの場面に適用でき、ビデオ通話に似た対面式のインタラクティブな体験を提供し、リアルタイムの音声による質疑応答や感情的なフィードバックをサポートする。
• 高品質な短編動画や短編ドラマの大量生産音声クリップ1つから、モーションキャプチャ機器やポストプロダクションを必要とせずに、完全なデジタル人体動画を直接生成できます。長尺動画の出力品質は安定しており、一貫性があるため、コンテンツ制作効率が大幅に向上します。
• ゲーム内のリアルタイムNPCこのモデルは、音声による台本なしの対話をサポートしており、感情と行動をリアルタイムで連動させることで、プレイヤーにより没入感のあるダイナミックなインタラクティブ体験を提供します。