FlowAct-R1 - ByteDanceのリアルタイムインタラクティブデジタルヒューマンビデオ生成フレームワーク

FlowAct-R1とは何ですか？

FlowAct-R1は、ByteDanceが開発したリアルタイムインタラクティブデジタルヒューマン動画生成フレームワークです。参照画像と音声データのみを必要とし、無制限の長さの全身ダイナミック動画のストリーミング生成をサポートします。ブロック拡散強制戦略とマルチモーダル大規模言語モデルにより、低遅延（最初のフレームまで1.5秒）と25fpsでの安定したリアルタイム応答を実現しています。デジタルヒューマンの表情や体の動きを精密に制御できるため、ビデオ会議、バーチャルコンパニオン、ライブインタラクティブストリーミングなどのシナリオに適しています。汎用性が高く、多様なキャラクタースタイルを表現できます。

FlowAct-R1の主な機能

• リアルタイムのインタラクションと無制限の期間生成このフレームワークは、参照画像と音声入力がそれぞれ1つずつあればよく、無制限の全身動体動画をストリーミング配信でき、不自然な表情などの一般的な問題もなく、長期間にわたって安定した動作をサポートします。
• 低遅延と高フレームレートこのフレームワークは、最初のフレームの遅延を1.5秒に抑え、安定したリアルタイム応答速度を25fpsで実現できるため、スムーズで自然なインタラクションプロセスが保証され、ビデオ会議やライブストリーミングなどのシナリオに適しています。
• 全身の動きと表情の制御マルチモーダルなコマンドを用いて、デジタルヒューマンの表情や身体の動き（聞く、考える、ジェスチャーなど）を正確に制御することで、より生き生きとしたリアルなインタラクションが実現する。
• 高い一般化能力このフレームワークは特定のキャラクターに限定されず、写実的な写真、アニメ、芸術的なスタイルなど、単一の参照画像から様々なスタイルのキャラクターを生成することができます。

FlowAct-R1の技術原理

• ストリーミング生成と無限の持続時間：フレームブロックベースの拡散強制戦略を採用し、ビデオを小さなブロックに分割して、それらを一つずつ生成します。構造化されたメモリライブラリを使用して画像の連続性を確保することで、理論的には無制限の長さの生成を実現します。
• リアルタイムパフォーマンス最適化:フレームラブ多段蒸留技術を組み合わせることで、拡散モデルにおけるノイズ除去ステップ数を3ステップに削減できる。FP8量子化と演算子融合を組み合わせることで、ビデオメモリの読み書きのオーバーヘッドが大幅に削減され、最終的に25fpsおよび480pのリアルタイム生成能力を実現しました。
• 全身の制御と行動計画:フレームラブマルチモーダルな大規模言語モデルを「脳」として導入することで、デジタルヒューマンは音声と文脈に基づいて実行すべき動作を判断できるようになり、それによってきめ細かく自然な動作計画を実現し、機械的な感覚を排除することができる。
• 高精細な視覚効果：フレーム生成プロセスにおいて高精細な映像を維持するため、本システムは最適化されたモデルアーキテクチャとトレーニング戦略を採用し、さまざまなスタイルやシナリオにおいて高品質なビデオパフォーマンスを保証します。

FlowAct-R1プロジェクトの住所

• プロジェクト公式サイト：https://grisoon.github.io/FlowAct-R1/
• arXiv技術論文：https://arxiv.org/pdf/2601.10103

FlowAct-R1の応用事例

• AIライブストリーミングこのフレームワークは、24時間365日途切れることのないリアルタイムのインタラクティブなライブストリーミングを可能にし、複数の言語とスタイルの切り替えをサポートし、視聴者のエンゲージメントを高めます。
• ビデオ会議仮想参加者として、自然な身振りややり取りを提供することで会議のリアリティを高め、多言語翻訳にも対応しています。
• バーチャルな仲間パーソナライズされた仮想コンパニオンを生成し、感情的なサポートやインタラクティブなエンターテイメントを提供し、ユーザーの仲間を求めるニーズを満たします。
• オンライン教育仮想教師として、魅力的な授業と個別指導を提供し、多言語指導をサポートします。
• 顧客サービス仮想カスタマーサービス担当者として、顧客からの質問にリアルタイムで回答し、多言語サポートを提供し、顧客満足度を向上させます。