DreamActor-H1 - ByteDanceが発表した製品デモ動画生成フレームワーク

DreamActor-H1とは何ですか？

ByteDanceが開発したDreamActor-H1は、拡散変換（DiT）をベースとしたフレームワークで、人物と製品のペア画像から高品質な人物・製品デモンストレーション動画を生成できます。このフレームワークは、マスクされたクロスアテンション機構を用いて人物と製品の両方から参照情報を注入しつつ、人物の識別情報と製品の詳細（ロゴやテクスチャなど）を保持します。3D人体メッシュテンプレートと製品バウンディングボックスを組み合わせることで、正確なモーションガイダンスを提供し、構造化テキストエンコーディングによって3Dの一貫性を高めます。大規模な混合データセットで学習されたDreamActor-H1は、既存の技術を大幅に上回る性能を発揮し、パーソナライズされたeコマース広告やインタラクティブメディアに適しています。

DreamActor-H1の主な機能

• 高忠実度ビデオ生成人物画像や製品画像から、高精細でリアルなデモンストレーション動画を生成する機能をサポートします。
• 身元保護動画生成プロセスにおいて、人物の特徴や製品の詳細（ロゴ、質感など）は保持されます。
• 自然な行動生成3Dボディテンプレートと製品の境界ボックスに基づいて正確な動作ガイダンスを提供し、自然なインタラクティブな動作を生成します。
• 意味的強化構造化テキストエンコーディングに基づいており、特に小さな回転変化を伴う動画の視覚的な品質と3Dの一貫性を向上させます。
• パーソナライズされたアプリケーションパーソナライズされたeコマース広告やインタラクティブメディアに適しており、多様な人的・製品的入力に対応します。

DreamActor-H1の技術的原理

• 拡散モデル拡散モデルの生成能力に基づき、ノイズから徐々にビデオコンテンツが生成されます。拡散モデルは、ノイズを段階的に除去することで、高品質の画像やビデオを生成します。
• マスクされた交差注意メカニズム注入された人物と製品のペア参照情報に基づいて、マスクされた相互注意メカニズムを使用して、生成されたビデオ内の人物と製品の詳細が正確に保持されるようにします。
• 3Dモーションガイダンス3Dボディメッシュテンプレートと製品のバウンディングボックスを組み合わせることで、ビデオ生成のための正確なモーションガイダンスが提供され、手の動きと製品の配置が自然に一致することが保証されます。
• 構造化テキストエンコーディングビジュアル言語モデル（VLM）によって生成された製品説明と人間属性情報に基づいて、ビデオ生成における意味的な一貫性を高め、視覚的な品質と3Dの安定性を向上させます。
• マルチモーダル融合この技術は、人間の外見、製品の外見、およびテキスト情報を拡散モデルに統合し、全注意、参照注意、およびオブジェクト注意のメカニズムに基づいて高品質なビデオ生成を実現します。

DreamActor-H1プロジェクトの住所

• プロジェクト公式サイト：https://submit2025-dream.github.io/DreamActor-H1/
• arXiv技術論文：https://arxiv.org/pdf/2506.10568

DreamActor-H1の応用シナリオ

• パーソナライズされた商品表示製品と人間とのインタラクションを捉えた動画を生成することで、製品の使用シナリオや機能を紹介し、ユーザーの購買意欲を高めることができる。
• バーチャルトライアルユーザーが製品の効果をよりよく理解できるよう、衣服や化粧品をバーチャルで試着できるなど、仮想的な試用体験を提供する。
• 製品プロモーション高品質な製品デモンストレーション動画をeコマースプラットフォーム向けに作成します。これらの動画は、製品詳細ページや広告に使用でき、製品の魅力を高め、販売コンバージョン率を向上させるのに役立ちます。
• ソーシャルメディア広告ソーシャルメディアプラットフォームでの広告向けに、ユーザーエンゲージメントとブランド認知度を高める魅力的な動画コンテンツを作成する。
• ブランドプロモーションブランドアンバサダーが製品と触れ合う動画を制作することで、ブランドイメージとユーザー認知度を高める。