AnchorCrafter - 中国科学院とテンセントが共同で立ち上げた、AIを活用した仮想ライブストリーミングeコマース動画制作技術。 - AiBoss

AnchorCrafterとは何ですか？

AnchorCrafterは、拡散モデルに基づいたインテリジェントなビデオ制作システムであり、高精細なアンカースタイルの製品プロモーションビデオを自動生成します。このシステムは、ポーズ誘導型人間ビデオ生成に人間と物体の相互作用（HOI）を統合し、物体の外観と動作制御において高い忠実度を実現するとともに、複雑な人間と物体の相互作用を管理します。本システムは、HOI外観認識およびHOI動作注入技術に加え、HOI領域重み付け損失学習目標を採用することで、物体の詳細学習を強化し、ビデオ生成中の人間の外観と動きの一貫性を確保します。AnchorCrafterは、物体の外観保持、相互作用認識、ビデオ品質において既存の手法を凌駕し、オンライン広告や消費者エンゲージメントに新たな可能性をもたらします。

AnchorCrafterの主な機能

高品質なビデオ生成ライブ配信スタイルの高精細な商品プロモーションビデオを自動生成します。
人間と物体の相互作用（HOI）の統合映像に人と物体の相互作用を自然に組み込むことで、リアリティとインタラクティブ性を高める。
外観は維持されている動画内の物体の外観の詳細を保持することで、複数の視点から見た場合でも物体の外観が正確であることを保証します。
モーションコントロール物体の軌道を正確に制御し、キャラクターの動きと連動させる。
相互閉塞管理人と物体との相互作用における遮蔽の問題に対処し、ビデオの連続性と自然さを維持する。
詳細を重視した学習: HOI領域の重み付け損失に基づいて、トレーニング中にオブジェクトの詳細の学習を強化します。

アンカークラフターの技術原則

ビデオ拡散モデル拡散モデルアーキテクチャに基づき、拡散UNetと変分オートエンコーダー（VAE）を用いてビデオフレームを処理し、ビデオシーケンスを潜在空間にエンコードして、ノイズから高品質のビデオフレームを再構築します。
HOI - 外見認識：
- マルチビュー機能の融合：複数の視点からオブジェクト参照画像を使用してオブジェクトの外観特徴を抽出し、モデルによるオブジェクトの形状と質感の認識能力を向上させる。
- 人体・物体二重アダプタUNetのクロスアテンション層を置き換えることで、人物と物体の特徴をより適切に分離し、外観の絡み合いを回避することに成功しました。
HOI - モーションインジェクション：
- 物体軌道制御この手法は、深度マップを入力として使用し、軽量な畳み込みネットワークを用いて深度情報を処理することで、動画内の物体の動きの軌跡を制御します。
- 相互閉塞処理3Dハンドメッシュ入力を組み合わせることで、キャラクターの手が物体と相互作用する際の遮蔽問題を解決し、相互作用の自然さと正確性を確保します。
HOI領域の再重み付け損失トレーニング中、手と物体の相互作用領域の重みが増加するため、モデルはこれらの領域により注意を払い、物体の詳細の学習と生成の品質を向上させることができます。

AnchorCrafterのプロジェクト住所

プロジェクト公式サイト：cangcz.github.io/Anchor-Crafter
GitHubリポジトリ：https://github.com/cangcz/AnchorCrafter（近日オープン予定）
arXiv技術論文：https://arxiv.org/pdf/2411.17383

AnchorCrafterの応用事例

オンラインショッピングプラットフォーム商品ページの魅力を高め、ユーザーの購買意欲を向上させるために、商品紹介動画を自動生成します。
ソーシャルメディアマーケティングこれは、ブランドや個人クリエイターが魅力的な商品プロモーションコンテンツを制作し、ファンエンゲージメントを高め、ブランド認知度を向上させるためのツールを提供する。
テレビCM制作高品質なテレビCMを迅速に制作することで、従来の撮影方法に比べてコストと時間を削減します。
バーチャルライブストリーミングeコマースライブ配信において仮想アンカーを活用して製品を紹介・宣伝することで、ライブ配信の効率性と視聴者体験が向上します。
教育と訓練学習効果を高めるため、料理や手工芸など、実際の工程をシミュレートした教育ビデオを作成する。