Hallo2 - 復旦大学、百度、南京大学が共同開発した音声駆動型ビデオ生成モデル - AiBoss

Hallo2とは何ですか？

Hallo2は、復旦大学、百度、南京大学が共同開発した音声駆動型動画生成モデルです。単一の参照画像と数分間の音声入力を組み合わせ、オプションのテキストキューに基づいて人物の表情を調整することで、音声と同期した高解像度4K動画を生成します。Hallo2は、パッチ降下法やガウスノイズなどの高度なデータ拡張技術を活用し、動画の長期的な視覚的一貫性と時間的整合性を向上させています。また、潜在コードに対してベクトル量子化と時間的アライメント技術を実装して4K解像度の動画を生成し、条件付き入力として意味テキストタグを導入することで、アニメーションの制御性と多様性を高めています。Hallo2は複数の公開データセットで広範な実験を行い、長時間、高解像度、リッチで制御可能なコンテンツを生成する能力を実証しています。

Hallo2の主な機能

長時間の動画生成最大1時間までの動画を生成でき、見た目のずれや時間的なアーティファクトといった問題を解決します。
高解像度出力これにより、鮮明な映像ディテールを提供する4K解像度の縦長動画の生成が可能になります。
音声連動型アニメーション音声入力を利用して肖像画のアニメーションを駆動し、唇の動きと表情の同期を実現する。
テキストプロンプトの調整テキストプロンプトを導入することで、肖像画の表情を調整・洗練させ、アニメーションの多様性と表現力を向上させます。
データ拡張技術パッチ降下法とガウスノイズ強調技術に基づき、動画の長期的な視覚的一貫性と時間的整合性を向上させる。

Hallo2の技術的原理

パッチドロップ拡張この方法は、条件付きフレーム内の画像ブロック（パッチ）の一部をランダムに破棄することで、前のフレームが後続のフレームの外観に与える影響を軽減し、長期的なビデオ生成における視覚的な一貫性を維持するものです。
ガウスノイズ強調パッチ降下にガウスノイズを追加することで、モデルが参照画像の外観に依存する度合いをさらに向上させ、動き情報を保持し、蓄積されたアーティファクトや歪みを低減します。
ベクトル量子化生成敵対ネットワーク（VQGAN）ベクトル量子化潜在符号とアプリケーション時間アライメント技術に基づき、Hallo2は時間軸の一貫性を維持し、高品質な4K解像度のビデオを生成することができます。
セマンティックテキストタグHallo2は、条件付き入力として調整可能な意味テキストラベルを導入し、テキストプロンプトに基づいてモデルが特定の表現やアクションを生成できるようにすることで、生成されるコンテンツの制御性を向上させます。
クロスアテンションメカニズムこのモデルは、ノイズ除去処理中に音声特徴やテキスト埋め込みなどの動き条件を効果的に統合し、条件付き入力と一致する画像を生成できます。

Hallo2のプロジェクトアドレス

プロジェクト公式サイト：fudan-generative-vision.github.io/hallo2
GitHubリポジトリ：https://github.com/fudan-generative-vision/hallo2
ハギングフェイスモデルライブラリ：https://huggingface.co/fudan-generative-ai/hallo2
arXiv技術論文：https://arxiv.org/pdf/2410.07718v1
Hallo3 ポートレートアニメーション生成フレームワーク：

Hallo2の応用シナリオ

映画およびビデオ制作映画制作において、Hallo2は、多数の仮想キャラクターや特殊効果を必要とするSF映画やアニメーション映画で使用するために、顔の表情や口の動きを生成または強化します。
バーチャルアシスタントとデジタルヒューマンカスタマーサービス、教育、エンターテイメントなどの分野において、Hallo2はリアルなバーチャルアシスタントやデジタルヒューマンを作成し、より自然で魅力的なインタラクティブ体験を提供することができます。
ゲーム開発ゲーム開発者はHallo2を使用して非常にリアルなキャラクターアニメーションを生成し、ゲームへの没入感とプレイヤーのゲーム体験を向上させています。
ソーシャルメディアとコンテンツ制作コンテンツ制作者はHallo2を使用して、ソーシャルメディアプラットフォームで使用するダイナミックなポートレート動画を作成し、コンテンツの魅力とインタラクティブ性を高めています。
ニュースと放送Hallo2は、ニュースキャスターのアニメーション画像を生成し、多言語放送が必要な場合に、さまざまな言語で口の動きや表情を素早く生成することができます。