project
知覚制御 - Alibaba Tongyi Labsが開発した画像およびアニメーションフレームワーク
Perception-as-Controlは、Alibaba Tongyi Labsが開発した画像およびアニメーションフレームワークであり、ユーザーの意図に基づいてきめ細かなモーション制御を実現できます。Perception-as-Controlは、3D知覚モーション表現の構築に基づいており、...
知覚を制御として捉えるとはどういうことか？
Perception-as-Controlは、Alibaba Tongyi Labsが開発した画像アニメーションフレームワークで、ユーザーの意図に基づいたきめ細かなモーション制御を実現します。Perception-as-Controlは、3D知覚モーション表現の構築に基づき、カメラとオブジェクトの動きを直感的で一貫性のある視覚的変化に変換し、知覚結果をモーション制御信号として使用して、さまざまなモーション関連のビデオ合成タスクをサポートします。Perception-as-Controlフレームワークは、U-Netアーキテクチャの拡散モデルに基づいており、参照画像からの外観情報とモーション制御信号からのモーション情報を組み合わせて、制御可能な画像アニメーションを生成します。Perception-as-Controlは、カメラとオブジェクトのモーション制御のバランスを取るための3段階のトレーニング戦略を導入し、きめ細かなモーション制御を促進し、さまざまなアプリケーションシナリオで優れたパフォーマンスを発揮します。
知覚制御の主な機能
- きめ細かな協調動作制御これにより、カメラとオブジェクトの動きを協調的に制御できるため、ユーザーはアニメーション内の個々の要素をきめ細かく制御できます。つまり、シーン内のオブジェクトの動きやカメラの視点の変化を正確に調整できるのです。
- マルチモーション関連ビデオ合成タスク画像ベースのモーション生成、ビデオベースのモーションクローニング、モーション転送、モーション編集など、モーション関連のさまざまなビデオ合成タスクをサポートします。
- モーション生成: ユーザーが入力した参照画像と2D軌跡に基づいてアニメーションを生成します。
- スポーツクローン: 元の動画におけるカメラと被写体の動きを模倣する。
- モーション伝達ソースビデオからローカルモーションを、参照画像内の異なる位置とスケールにあるオブジェクトに転送します。
- スポーツ編集者ユーザーはセグメンテーションマスクを提供し、そのマスク内の動きを編集します。
- 3Dモーション知覚表現3D知覚モーション表現の構築に基づき、複雑な3Dシーンを主要なオブジェクト部分（単位球で表現）とワールドエンベロープに単純化することで、直感的で一貫性のある視覚的変化を実現します。
知覚制御の技術原理
- 3Dモーション知覚表現3Dシーンは、主要なオブジェクト部分（単位球で表される）とワールドエンベロープに単純化され、3Dポイントトラッキングとビジュアルオドメトリ技術に基づいて、局所的なオブジェクトの動きと全体的なカメラの動きがキャプチャされます。
- ネットワークアーキテクチャノイズ除去U-Netアーキテクチャに基づき、2つの軽量エンコーダを使用してカメラ制御信号と物体制御信号をそれぞれエンコードし、RGBレベルの干渉を回避し、融合モジュールでエンコードされた信号を統合します。
- 参照画像挿入ReferenceNetは、参照画像の外観情報を生成プロセスに注入することで、生成された動画が参照画像の特定の外観を保持することを保証します。
- 3段階のトレーニング戦略：
- フェーズ1カメラの動きのみを含むビデオクリップを処理するように、カメラエンコーダーのみをトレーニングします。
- フェーズ2カメラと被写体の動きを含むビデオクリップを処理するためのオブジェクトエンコーダーとフュージョンモジュールを追加しました。
- フェーズ3きめ細かな物体の動きの制御は、疎な単位球に基づいて実現され、各レンダリングポイントの制御範囲を適応的に決定する。
- 拡散モデル画像拡散確率モデルの基本原理に基づき、ノイズ除去U-Netアーキテクチャを用いて動画を生成する。最適化の目的は、予測ノイズと実際のノイズの差を最小化することである。条件付き入力には、参照画像とモーション制御信号が含まれる。
Perception-as-Controlのプロジェクトアドレス
- プロジェクト公式サイト：https://chen-yingjie.github.io/projects/Perception-as-Control/
- GitHubリポジトリ：https://github.com/chen-yingjie/Perception-as-Control
- arXiv技術論文：https://arxiv.org/pdf/2501.05020
知覚制御の応用シナリオ
- 映画やビデオの特殊効果特定の動きでアニメーションシーンを生成したり、既存のビデオ内の複雑な動きを模倣したり、あるキャラクターの動きを別のキャラクターに転送したりできます。
- ゲーム開発ゲームキャラクターやオブジェクトに、自然で制御可能なアニメーションを生成し、ゲームの没入感とダイナミックな効果を高めます。
- 仮想現実（VR）と拡張現実（AR）VR環境でリアルタイムのアニメーションフィードバックを生成してユーザーインタラクションを強化し、ARアプリケーションで仮想オブジェクトのアニメーションを現実世界のシーンに統合する。
- 広告とマーケティングブランドイメージと記憶に残る度合いを高めるために、魅力的でダイナミックな広告やブランドプロモーション用アニメーションを作成します。
- 教育と訓練科学実験のアニメーションや技能訓練シミュレーションのアニメーションを作成し、学生や研修生が知識や技能をより深く理解し、習得できるよう支援する。