PersonaLive - マカオ大学およびその他の機関によって開発された、オープンソースのリアルタイムAI顔交換ライブストリーミングツール。

PersonaLiveとは何ですか？

PersonaLiveは、マカオ大学とGVC Labsが開発したオープンソースのリアルタイムデジタルヒューマンライブストリーミングツールです。このツールは、12GBのVRAMを搭載した一般消費者向けグラフィックカード1枚で動作し、無制限のポートレートアニメーション生成と低遅延のインタラクションを実現します。PersonaLiveは、VRAM管理の最適化とTensorRTアクセラレーションの活用により、従来のデジタルヒューマンライブストリーミングにありがちな、高いハードウェア要件、VRAMの過負荷、音声と映像の同期ずれといった問題を解決します。PersonaLiveを使えば、AIを活用したライブコマースやバーチャルアバターのイベント参加が容易になり、デジタルヒューマンライブストリーミングの分野に新たな可能性が広がります。

PersonaLiveの主な機能

• ハードウェア要件が低いRTX 3060や4070のように、12GBのビデオメモリを1枚だけ必要とする一般消費者向けグラフィックカードは、参入障壁を大幅に下げている。
• 無制限の期間を生成する連続的なビデオストリーム生成をサポートしているため、長時間のライブストリーミングに適しており、従来モデルにおけるメモリ爆発やタイミングの不整合といった問題を解決します。
• 低遅延とリアルタイムのインタラクションメモリ管理と推論の高速化を最適化することで、TensorRTの高速化をサポートし、音声と映像の同期やリアルタイムのインタラクションを実現します。
• 環境に優しいComfyUIとRTX 50シリーズのグラフィックカードをサポートし、ハードウェアとコミュニティのトレンドに対応しています。
• WebUIのビジュアル操作シンプルで使いやすいウェブインターフェースを提供し、ユーザーは写真のアップロード、パラメーターの調整、リアルタイムでのアニメーション生成を行うことができます。

PersonaLiveの技術的原理

• ストリーミング拡散フレームワーク拡散モデルに基づき、従来のような分割されたビデオ生成ではなく、メモリ管理と推論の高速化を最適化することで、連続的なビデオストリームの生成を実現する。
• ビデオメモリの最適化このツールは、効率的なビデオメモリ管理技術を採用することで、限られたビデオメモリ容量でも長期間にわたって安定した動作を確保し、ビデオメモリのオーバーフローを回避します。
• タイミングモジュール本システムは、無制限の長さのビデオストリームの生成をサポートする特別なタイミングモジュールを導入しており、長時間のライブストリーミングシナリオに適しています。
• TensorRTアクセラレーションモデルをTensorRT形式に変換する機能をサポートしており、推論速度を約2倍向上させ、レイテンシを大幅に削減します。

PersonaLiveプロジェクトの住所

• GitHubリポジトリ：https://github.com/GVCLab/PersonaLive
• ハギングフェイスモデルライブラリ：https://huggingface.co/huaichang/PersonaLive
• arXiv技術論文：https://arxiv.org/pdf/2512.11253

PersonaLiveの応用シナリオ

• AI仮想アンカーこれは、eコマースのライブ配信、ニュース放送、エンターテイメントのライブ配信などに使用され、低コストで高品質な24時間途切れることのない仮想キャラクターのライブ配信を実現します。
• バーチャル会議とリモートコラボレーションプライバシーを保護し、インタラクティブな体験を向上させるために、ビデオ会議や遠隔授業で仮想アバターを提供する。
• コンテンツ制作とエンターテイメントツールを使えば、短編動画、映画、ゲーム、その他のコンテンツを作成でき、フォーマットを豊かにし、制作効率を向上させることができます。
• カスタマーサービスとサポートこれは、仮想カスタマーサービスやインテリジェントアシスタントの構築を支援し、24時間オンラインサービスを実現し、顧客体験を向上させます。
• 教育と訓練仮想教師と訓練シミュレーションシナリオを生成し、パーソナライズされた効率的な教育・訓練サービスを提供する。