アリトンギが発表した、高精細なキャラクター画像アニメーション生成技術「Animate Anyone 2」

Animate Anyone 2とは何ですか？

Animate Anyone 2は、アリババグループの同義研究所が開発した高精細キャラクターアニメーション生成技術です。環境情報を組み合わせることで、よりリアルなキャラクターアニメーションを生成します。従来の手法とは異なり、動画からモーション信号を抽出し、環境表現を条件付き入力として取得することで、キャラクターアニメーションが周囲の環境に自然に溶け込むようにしています。「形状非依存マスキング戦略」により、マスク領域とキャラクターの輪郭の対応関係を解消し、キャラクターと環境の関係性を効果的に表現するとともに、形状漏れの問題を軽減します。Animate Anyone 2は、「オブジェクトガイド」と「空間ブレンド」技術を導入することで、キャラクターとオブジェクトの相互作用のリアリティを高め、「深度ポーズ変調戦略」により、複雑なアクションシーンにおけるモデルの堅牢性を向上させています。

Animate Anyone 2の主な特徴

高精細キャラクターアニメーション生成Animate Anyone 2は、入力されたキャラクター画像とモーション信号に基づいて、高品質で一貫性のあるキャラクターアニメーション動画を生成できます。
複雑な動作処理Animate Anyone 2では、「ディープポーズ変調戦略」が導入され、モデルが多様で複雑な動作パターンを処理できるようになり、複雑なアクションシナリオにおける堅牢性が向上し、キャラクターの動きの自然さと合理性が確保されます。
ダイナミックなキャラクターインタラクションAnimate Anyone 2は、キャラクター間のインタラクティブなアニメーションを生成し、キャラクターの動きが周囲の環境と調和し、一貫性を保つようにすることで、複数のキャラクターが登場するシーンにおいて、より自然なアニメーション効果を実現します。
クロスアイデンティティアニメーション生成異なるキャラクターのアニメーションにも対応可能です。入力されたキャラクター画像が元の動画のキャラクターと異なっていても、高品質なアニメーションを生成でき、優れた汎用性を備えています。

Animate Anyone 2 の技術的原理

環境認識と融合Animate Anyone 2は、ソースビデオからモーション信号を抽出する機能に加え、環境表現を条件付き入力として取り込む機能もサポートしています。環境とは、キャラクターの領域外の領域を指し、モデルは環境背景との整合性を保ちながらキャラクターを生成することで、これらの領域を埋めます。
形状に依存しないマスキング戦略文字と環境の関係性をより効果的に表現するために、「形状に依存しないマスキング戦略」を提案する。学習時にマスク領域と文字の輪郭との対応関係を断ち切ることで、形状漏れの問題を軽減し、文字と環境の統合性を向上させる。
オブジェクトとのインタラクションの強化Animate Anyone 2では、キャラクターと相互作用するオブジェクトの特徴を抽出する「オブジェクトガイド」が導入されました。これらの特徴は「空間ブレンド」技術を用いて生成プロセスに組み込まれ、キャラクターとオブジェクト間の相互作用のリアリティを高めます。
深層姿勢変調戦略多様で複雑な動作パターンに対応するため、「深度姿勢変調戦略」が導入された。骨格信号を強化するために構造化された深度情報を追加することで、モデルは四肢間の空間的関係をより適切に表現し、複雑な動作シナリオにおいてより高い堅牢性を発揮できる。
拡散モデルに基づくフレームワークAnimate Anyone 2は拡散モデルに基づいて構築されており、事前学習済みの変分オートエンコーダー（VAE）を使用して、画像をピクセル空間から潜在空間に変換します。ノイズはノイズ除去ネットワークによって徐々に除去され、最終的に画像が再構築されます。

Animate Anyone 2 プロジェクトアドレス

プロジェクト公式サイト：https://humanaigc.github.io/animate-anyone-2/
arXiv技術論文：https://arxiv.org/pdf/2502.06145

Animate Anyone 2 の応用シナリオ

映画およびテレビ制作映画やテレビ制作において、Animate Anyone 2は、キャラクターの置き換えやモーション転送などの機能をサポートし、高品質なキャラクターアニメーションを迅速に生成するために使用できます。
広告とマーケティング広告・マーケティング分野において、Animate Anyone 2は動画内の人物を簡単に置き換え、その動作や表情をシームレスに反映させることができます。これにより、ブランドはより魅力的でパーソナライズされた広告コンテンツを作成し、視聴者のエンゲージメントを高めることが可能になります。
仮想現実（VR）と拡張現実（AR）仮想現実および拡張現実アプリケーションにおいて、Animate Anyone 2は仮想環境と高度に統合されたキャラクターアニメーションを生成することができ、ユーザーにさらに没入感のある体験を提供します。
ゲーム開発ゲーム開発においては、多様なキャラクターアニメーションを迅速に生成し、キャラクターとゲーム環境間の自然なインタラクションをサポートできます。これにより開発効率が向上し、プレイヤーによりリアルなゲーム体験を提供できます。
教育と訓練教育・研修分野では、Animate Anyone 2 を使用することで、パーソナライズされた仮想アバターを作成し、教育シナリオや研修デモンストレーションをシミュレーションすることができ、学習の楽しさと効果を高めることができます。