Motionshop - アリババのAIキャラクターアニメーションプロジェクト。動画のキャラクターを3Dアニメーションに置き換えることができる。
Motionshopは、アリババ知能コンピューティング研究所が開発したAIキャラクターアニメーションフレームワークです。動画内の他のシーンやキャラクターを変更することなく、動画内のキャラクターを3Dアバターに置き換えることができます。このフレームワークはビデオ処理技術を利用しています。
Motionshopとは何ですか？
Motionshopは、アリババのインテリジェントコンピューティング研究所（XR LabおよびTIDE 3Dレンダリングチーム）が開発したAIキャラクターアニメーションフレームワークです。動画内のキャラクターを、他のシーンやキャラクターを変更することなく3Dアバターに置き換えることができます。動画処理、キャラクター検出/セグメンテーション/トラッキング、ポーズ分析、モデル抽出、アニメーションレンダリングなどの技術を活用することで、ダイナミックな動画の主人公を、現実と仮想世界の境界を越え、ワンクリックで楽しい3Dキャラクターモデルへと変身させることができます。
公式プロジェクトホームページ：https://aigc3d.github.io/motionshop/
オンライン体験へのアクセス：https://www.modelscope.cn/studios/Damo_XR_Lab/motionshop/summary
Motionshopの機能
- 動画の登場人物を3Dアバターに置き換えたユーザーは動画をアップロードするだけで、AIが動画内の主要人物をインテリジェントに識別し、それらを鮮やかな3Dキャラクターモデルにシームレスに変換します。
- 動きとリアリズムの同期Motionshopはキャラクターを置き換えるだけでなく、元の動画におけるキャラクターの動きの細部まで正確に再現することで、3Dキャラクターの滑らかで自然な動きを実現し、非常にリアルな視覚効果を提供します。
- 現実と仮想世界のシームレスな融合Motionshopを使えば、現実世界の人物と3D仮想キャラクターをシームレスに融合させることができ、現実と仮想の境界を超越する全く新しい体験を生み出し、ビデオコンテンツに無限の可能性をもたらします。
Motionshopの仕組み
Motionshopフレームワークは、背景ビデオシーケンスの抽出と修復を行うビデオ処理ワークフローと、3D仮想キャラクターのビデオシーケンスを生成するポーズ推定およびレンダリングワークフローの2つの部分で構成されています。これら2つのワークフローを並列実行し、高性能レイトレーシングレンダラーであるTIDEを使用することで、ビデオ置換プロセス全体を数分で完了できます。
具体的な技術は以下のとおりです。
- 文字検出：まず、Motionshopは高度なアルゴリズムを使用してビデオ内の文字を正確に識別し、その後の処理の精度を保証します。
- ビデオオブジェクトのセグメンテーションと追跡：文字検出に基づいて、システムはビデオオブジェクトのピクセルレベルのセグメンテーションと追跡をさらに実行し、その後の修理と交換に備えます。
- 動画修復：高度な動画修復技術を用いて、このツールは背景動画シーケンスの欠陥や不備を修復します。
- 姿勢推定：CVFFSなどの高精度姿勢推定手法を適用することで、システムはキャラクターの動きの姿勢を安定的に捉えることができ、アニメーションのリターゲティングの基礎を築きます。
- アニメーションマッピング：Motionshopはキャラクターのポーズを推定した後、選択した3Dモデルにこれらのポーズをマッピングし、新しいモデルが元のキャラクターの動きを自然にシミュレートできるようにします。
- 照明と影の推定：新しいモデルの照明と影の効果が元のビデオのものと一致するように、システムは細かい照明と影の推定を実行して、シームレスな視覚的融合を実現します。
- 3Dレンダリング：MotionshopはTIDEレンダリングエンジンを使用し、3Dモデルをリアルな画像シーケンスにレンダリングすると同時に、モーションブラーやテンポラルアンチエイリアシングなどのアルゴリズムを組み合わせてレンダリング品質を向上させます。
- ビデオ合成：最後に、新たに生成された3Dレンダリング画像を修復されたビデオ背景と合成し、元のビデオとシームレスに統合された全く新しいビデオシーケンスを作成します。
Motionshopの使い方
- MotionshopのModelScopeデモ体験はこちらからアクセスできます。https://www.modelscope.cn/studios/Damo_XR_Lab/motionshop/summary
- 動画を準備する際は、主要な被写体が損なわれていないことを確認し、動画の長さが15秒を超えないようにしてください。
- 動画をアップロードすると、システムが自動的に動画に映っている人物を選択します。
- 置き換えに使用する仮想キャラクターモデルを選択してください。
- 最後に、「ビデオ生成」ボタンをクリックし、結果が生成されるまでしばらくお待ちください。