ChatAnyone - Alitongyiが開発した、リアルタイムでスタイリッシュなポートレート動画を生成するフレームワーク

ChatAnyoneとは何ですか？

ChatAnyoneは、アリババ同義研究所が開発したリアルタイムのスタイリッシュなポートレート動画生成フレームワークです。音声入力に基づいて、豊かな表情と上半身の動きを持つポートレート動画を生成します。効率的な階層型モーション拡散モデルとハイブリッド制御融合生成モデルを採用することで、高精細で自然な動画生成を実現し、リアルタイムのインタラクションをサポートします。バーチャルアンカー、ビデオ会議、コンテンツ制作、教育、カスタマーサービス、マーケティング、ソーシャルエンターテイメント、ヘルスケアなど、様々なシーンに適しています。ChatAnyoneはスタイリッシュな制御をサポートしており、ユーザーはニーズに合わせて表情を調整し、パーソナライズされたアニメーション生成を実現できます。

ChatAnyoneの主な機能

• 音声駆動型ポートレートビデオ生成音声入力を通して、豊かな表情と上半身の動きを伴うポートレート動画を生成し、「話す顔」から上半身のインタラクションまで、高精細なアニメーション生成を実現するとともに、多様な表情やスタイルの制御をサポートします。
• 高忠実度と自然さ生成されたポートレート動画は、豊かな表情と自然な上半身の動きを特徴としています。
• リアルタイムリアルタイムのやり取りをサポートしており、ビデオチャットなどのアプリケーションシナリオに適しています。
• 文体制御必要に応じて表現スタイルを調整することで、パーソナライズされたアニメーション生成を実現できます。

ChatAnyoneの技術原則

• 高効率階層型運動拡散モデル音声信号を入力として、明示的および暗黙的な動作信号の両方を考慮した顔と体の制御信号を出力します。多様な表情を生成し、頭と体の動きの同期を実現します。様々な強度の表情変化をサポートするだけでなく、参照ビデオからの様式化された表情の転送にも対応しています。
• ハイブリッド制御融合生成モデル明示的なランドマークと暗黙的なオフセットを組み合わせることで、リアルな表情が生成されます。明示的な手の動き信号が注入され、より正確でリアルな手の動きが生成されます。顔最適化モジュールが顔のリアリティを高め、生成されるポートレート動画が非常に表情豊かで生き生きとしたものになるようにします。
• スケーラブルなリアルタイム生成フレームワーク頭部の動きを追ったアニメーションから、ジェスチャーを含む上半身の生成まで、あらゆる動きをサポートします。4090 GPU 上で、最大 512×768 ピクセルの解像度、30fps で上半身のポートレート動画をリアルタイムで生成します。

ChatAnyoneのプロジェクトアドレス

• プロジェクト公式サイト：https://humanaigc.github.io/chat-anyone/
• GitHubリポジトリ：https://github.com/HumanAIGC/chat-anyone
• arXiv技術論文：https://arxiv.org/pdf/2503.21144

ChatAnyoneアプリケーションのシナリオ

• バーチャルアンカーとビデオ会議ニュース放送、ライブストリーミング配信の電子商取引、ビデオ会議などで使用されるバーチャルアバター。
• コンテンツ制作とエンターテイメント様式化されたアニメーションキャラクター、バーチャルコンサート、AIポッドキャストなどを生成する。
• 教育と訓練トレーニングシミュレーションにおいて、仮想教師アバターと仮想キャラクターを生成する。
• 顧客サービス顧客サービス担当者の仮想アバターを生成し、生き生きとした回答とインタラクティブな機能を提供します。
• マーケティングと広告仮想の広報担当者アバターと、高度にインタラクティブな広告コンテンツを生成します。