HunyuanCustom - テンセントのオープンソースのマルチモーダルカスタムビデオ生成フレームワーク - AiBoss

HunyuanCustomとは何ですか？

HunyuanCustomは、テンセントのHunyuanチームが開発した、マルチモーダル駆動型のカスタマイズ可能な動画生成フレームワークです。HunyuanCustomは、画像、音声、動画、テキストなど、多様な入力条件に対応し、特定の被写体やシーンを高品質で生成できます。LLaVAベースのテキスト・画像融合モジュールと画像ID強化モジュールを導入することで、HunyuanCustomは、アイデンティティの一貫性、リアリズム、テキスト・動画の整合性において、既存の手法を大きく凌駕しています。このフレームワークは、音声駆動型と動画駆動型の両方の動画生成に対応しており、バーチャルヒューマン広告、バーチャル試着、動画編集などの分野で幅広く活用され、高い制御性と柔軟性を実現しています。

HunyuanCustomの主な機能

単一被写体のビデオカスタマイズ入力された画像とテキスト説明に基づいて動画を生成し、被写体の同一性を維持する。
複数被写体のビデオカスタマイズ複数のエンティティの対話型生成をサポートし、複雑な複数エンティティのシナリオに対応します。
音声主導のビデオカスタマイズ音声とテキストによる説明に基づいて動画を生成し、柔軟な音声駆動型アニメーションをサポートします。
動画主導の動画カスタマイズビデオ入力に基づいてオブジェクトの置換または追加をサポートし、ビデオ編集やオブジェクト置換に使用されます。
バーチャルヒューマン広告とバーチャル試着仮想の人物が製品とインタラクトする広告動画を作成したり、仮想試着デモンストレーションを実施したりする。
柔軟なシーン生成テキストによる説明に基づいて様々なシナリオの動画を生成し、多様なコンテンツ制作をサポートします。

HunyuanCustomの技術原則

マルチモーダル融合モジュール：
- テキスト・画像融合モジュールLLaVAに基づき、画像内の識別情報をテキストによる説明と融合させることで、マルチモーダルな理解能力を向上させる。
- 画像ID強化モジュールタイムラインに沿った情報結合に基づき、ビデオモデルの時間モデリング機能を利用して、被写体のアイデンティティ特性を強化し、ビデオ生成におけるアイデンティティの一貫性を確保する。
オーディオドライバー機構AudioNetモジュールは、空間的な相互注意メカニズムに基づいており、音声の特徴を映像の特徴に注入することで、音声と映像の階層的な整合性を実現し、音声主導型の映像生成をサポートします。
ビデオ駆動機構ビデオ特徴アライメントモジュールは、VAEを使用して入力ビデオを潜在空間に圧縮し、パッチファイモジュールに基づいて特徴アライメントを実行して、ノイズ潜在変数の特徴との一貫性を確保します。
アイデンティティ分離モジュールアイデンティティを分離したビデオ条件モジュールは、ビデオの特徴を潜在空間に効率的に注入し、ビデオ駆動型のビデオ生成をサポートします。
データ処理とデータ拡張動画のセグメンテーション、テキストのフィルタリング、対象抽出、データ拡張などを含む厳密な前処理ワークフローに基づき、高品質な入力データを確保し、モデルのパフォーマンスを向上させます。

HunyuanCustomのプロジェクトアドレス

プロジェクト公式サイト：https://hunyuancustom.github.io/
GitHubリポジトリ：https://github.com/Tencent/HunyuanCustom
ハギングフェイスモデルライブラリ：https://huggingface.co/tencent/HunyuanCustom
arXiv技術論文：https://arxiv.org/pdf/2505.04512v1

HunyuanCustomのアプリケーションシナリオ

バーチャルヒューマン広告仮想人間が製品とインタラクトする広告動画を作成し、魅力を高める。
バーチャル試着写真をアップロードして、様々な服を試着する自分の動画を作成し、ショッピング体験を向上させましょう。
動画編集動画内のオブジェクトを置き換えたり追加したりすることで、編集の柔軟性を高めることができます。
音声連動型アニメーション音声に基づいて同期されたビデオアニメーションを生成するもので、仮想ライブストリーミングやアニメーション制作に利用できます。
教育ビデオテキストと画像を組み合わせて、学習効果を高めるための教育ビデオを作成する。