Live Avatar - アリババが大学と共同でオープンソース化したリアルタイムのデジタル人体モデル

ライブアバターとは何ですか？

アリババが複数の大学と共同開発したLive Avatarは、音声と映像を駆使した処理によって、長さ無制限のデジタルヒューマン動画を生成できるリアルタイムデジタルヒューマンモデルです。140億個のパラメータを持つ拡散モデルを活用することで、Live Avatarは20FPSでのリアルタイムストリーミング生成を実現し、長時間生成時でも顔のずれや色の歪みを回避しながら、1万秒以上の安定した出力をサポートします。eコマースのライブストリーミング、ニュース放送、バーチャルアシスタントなど、さまざまなシナリオで活用でき、高精細かつ低遅延のインタラクティブな体験を提供します。

Live Avatarの主な機能

• リアルタイムオーディオおよびビデオドライバーこのシステムは、マイクとカメラを通してユーザーの声と表情を捉え、デジタルヒューマンが唇の動きや表情と同期して反応するように制御することで、低遅延の対面式インタラクションを実現します。
• 無制限の期間にわたる安定した発電最大10,000秒の連続ビデオ生成をサポートし、デジタル人間の顔の特徴、肌の色、スタイル、その他の特性がプロセス全体を通して一貫して維持されるようにすることで、長時間の生成中にアイデンティティのずれや画質の劣化を防ぎます。
• 高精細な画像品質140億個のパラメータを持つ拡散モデルに基づいて、細部まで鮮明で自然なデジタル人体画像を生成する。
• ストリーミング世代ストリーミング処理技術を採用し、リアルタイムビデオストリームの継続的な拡張をサポートするため、ライブストリーミングなどのリアルタイムアプリケーションシナリオに適しています。

ライブアバターの技術的原理

• 拡散モデルの最適化：140億個のパラメータを持つ拡散モデルを使用し、分布整合蒸留技術によって多段階双方向拡散モデルを高効率4段階フロー拡散モデルに変換することで、生成速度を大幅に向上させる。タイムステップ強制パイプライン並列化技術は、ノイズ除去ステージを分離して複数のデバイスに分散させることで、線形加速を実現し、大規模な並列コンピューティングをサポートするために使用されます。
• 無制限の期間生成メカニズム：
  • ローリングロープ（相対位置符号化）: 生成されたフレームと参照フレーム間の相対位置関係を維持し、同一性ドリフトを回避するために、参照フレームの相対位置エンコーディングを動的に更新します。
  • 適応型アテンションシンク初期参照フレームは生成されたフレームに置き換えられ、分布のずれを引き起こす永続的な要因を排除し、生成されたフレームの分布の一貫性を維持します。
  • 歴史的干渉メカニズムノイズはKVバッファに注入され、推論におけるエラーをシミュレートし、モデルが履歴フレームから動き情報を、参照フレームから安定した詳細を抽出するように誘導し、エラーの蓄積を回避する。
• リアルタイムインタラクティブ技術：マイクとカメラの入力を組み合わせることで、デジタル人体モデルは音声信号と映像信号によってリアルタイムで駆動され、低遅延のインタラクティブな応答を実現します。生成速度とレイテンシを最適化することで、リアルタイム生成速度20FPS、初回フレームレイテンシわずか2.89秒を実現し、スムーズなインタラクティブ体験を保証します。

ライブアバタープロジェクトのアドレス

• プロジェクト公式サイト：https://liveavatar.github.io/
• GitHubリポジトリ：https://github.com/Alibaba-Quark/LiveAvatar
• ハギングフェイスモデルライブラリ：https://huggingface.co/Quark-Vision/Live-Avatar

ライブアバターの応用シナリオ

• eコマースのライブストリーミングLive Avatarは、24時間365日途切れることなく製品のデモンストレーションや説明を行うことを可能にし、人件費を削減し、ライブストリーミングの効率を向上させます。
• ニュース放送このモデルは、ニュース放送用の仮想アンカーの自動生成をサポートし、多言語ビデオを迅速に生成し、ニュースの速報性を向上させます。
• エンターテイメントのライブストリーミングバーチャルアイドルは、ライブでのインタラクティブなショーやオンラインコンサートを開催することで、観客のエンゲージメントを高める。
• インテリジェントな顧客サービスデジタルヒューマンカスタマーサービスは、ユーザーからの質問にリアルタイムで回答し、24時間365日途切れることのないサービスを提供することで、ユーザーエクスペリエンスを向上させます。
• 銀行窓口係バーチャルファイナンシャルアドバイザーは、標準化されたビジネスコンサルティングサービスを提供し、人的サービスを補完するとともに、銀行の業務効率を向上させる。