HumanVid - 人間の画像のアニメーション生成に特化して設計された、高品質なデータセット。

HumanVidとは何ですか？

HumanVidは、香港中文大学と上海人工知能研究所が共同開発した、人間の画像アニメーションの学習に特化した高品質データセットです。実世界の動画と合成データを組み合わせ、綿密に設計されたルールに基づいて高品質な動画を選別し、2D姿勢推定とSLAM技術を用いてアノテーションを付与します。HumanVidは動画生成の制御性と安定性の向上を目指しており、ベースラインモデルであるCamAnimateを用いてその有効性が検証され、人間の姿勢とカメラの動きの制御において最先端のレベルを達成しています。本プロジェクトは、2024年9月末までにコードとデータセットを一般公開する予定です。

HumanVidの主な機能

• 高品質なデータ統合実世界のデータと合成データを組み合わせることで、データセットの豊富さと多様性を確保しています。
• 著作権の自由すべての動画および3Dアバター素材は著作権フリーであり、研究や利用を容易にします。
• ルールフィルタリングルールベースのフィルタリングメカニズムにより、データセット内の動画の品質が保証されます。
• 人間とカメラの動きの注釈動画内の人物とカメラの動きを正確に注釈付けするために、2D姿勢推定とSLAM技術が用いられています。

HumanVidの技術原則

• データセットの構築HumanVidは、インターネットから膨大な量の著作権保護された無料の実世界動画を収集し、合成データと組み合わせることでデータセットを構築しています。動画は、データセットの高品質を確保するために、綿密に設計されたルールに基づいてフィルタリングされます。
• アノテーション技術この動画では、2D姿勢推定器を用いて人間の動きを注釈付けする一方、SLAM（自己位置推定と環境地図作成の同時実行）に基づく手法を用いてカメラの動きを注釈付けしている。
• 合成データ生成データセットの多様性を高めるため、HumanVidは著作権で保護された無料の3Dアバターアセットを収集し、さまざまなカメラの動きをシミュレートするためのルールベースのカメラ軌道生成手法を導入した。
• モデルトレーニングHumanVidは、人間の動きとカメラの動きを条件とするベースラインモデル「CamAnimate」を開発しました。HumanVidのデータセットで学習させることで、人間のポーズとカメラの動きを制御した動画を生成することが可能になります。

HumanVidプロジェクトのアドレス

HumanVidの応用事例

• ビデオ制作映画、テレビ、その他の映像コンテンツ制作向けに高品質なアニメーション生成機能を提供し、監督やプロデューサーがキャラクターのポーズやカメラワークを制御することで、より鮮やかでリアルなシーンを作り出すことを可能にする。
• ゲーム開発ビデオゲームにおいて、HumanVidはリアルなNPC（ノンプレイヤーキャラクター）アニメーションを生成することができ、ゲームの没入感とインタラクティブ性を向上させる。
• VRとARVRおよびARアプリケーションにおいて、HumanVidはユーザーとインタラクションする仮想キャラクターを生成し、より自然でスムーズな体験を提供することができます。
• 教育と訓練HumanVidは、登場人物の行動やシナリオをシミュレートした教育ビデオを作成することで、学生が複雑な概念をよりよく理解し、学習するのを支援します。