AB
AB
AiBoss

すべてのカテゴリ

project

Sitcom-Crafter - 北京航空航天大学、香港中文大学、およびその他の大学が共同開発した3D人体動作生成システム。

Sitcom-Crafterは、北京航空航天大学、香港中文大学、深圳大学、シドニー工科大学、中山大学などの大学が共同開発した3Dシーン人体動作生成システムです。ユーザーが提供する長尺シーンのガイダンスに基づいて動作します。

Sitcom-Crafterとは何ですか？

Sitcom-Crafterは、北京航空航天大学、香港中文大学、深圳中文大学、シドニー工科大学、中山大学が共同開発した3Dシーン人体動作生成システムです。ユーザーが提供する拡張ストーリーラインに基づいて、歩行、シーンとのインタラクション、人間同士のインタラクションなど、多様で物理的にリアルな動作を生成します。システムは8つのモジュールで構成され、3つのコアモジュールが動作生成を担当し、5つの拡張モジュールが動作の滑らかさ、同期、衝突補正を最適化します。Sitcom-Crafterの革新的な3Dシーン認識技術と自己監視型SDF戦略は、追加のデータ取得なしに物理的に一貫性のある動作を生成し、クリエイティブ効率を大幅に向上させ、アニメーションやゲームデザインのための効率的でインテリジェントなソリューションを提供します。

Sitcom-Crafterの主な機能

  • 歩行する人間キャラクターは3Dシーン内で自然に歩行する。
  • 人間とシーンの相互作用キャラクターは、物理法則に沿った方法で環境内のオブジェクトと相互作用する。
  • 人間同士の交流キャラクター間のアクション生成を調整し、衝突を減らし、アクションの同期を最適化する。
  • 機能強化：
    • プロット分析AIは自動的に脚本を分解し、具体的なキャラクターの行動指示に変換する。
    • モーション同期異なるモジュールによって生成される動作が、時間的に一貫していることを確認してください。
    • 手の姿勢の改善データベースから手のジェスチャーを取得することで、動きの自然さを向上させます。
    • 衝突修正文字間の衝突を自動的に検出し、修正します。
    • 3Dリダイレクト生成された動きは、既存の3Dデジタルキャラクターモデルにマッピングされ、視覚効果を高めます。

Sitcom-Crafterの技術的原理

  •  モーション生成モジュール：
    • 人間の歩行世代既存の高度な手法（GAMMAなど）に基づき、深層学習モデルを用いて人々の歩行動作を生成します。
    • 人間とシーンのインタラクション生成DIMOSなどの手法に基づき、シーン情報を組み合わせることで、キャラクターとシーンオブジェクト間のインタラクティブな動きが生成される。
    • 人間同士の相互作用の生成自己教師ありシーン認識手法を用いて、3Dシーン内のSDF（シグネチャ距離関数）点を合成し、周囲の環境をシミュレートするとともに、キャラクターとシーン間の衝突を回避する。複数人によるインタラクションは、キャラクター間の相対的な位置と動きを考慮した拡散モデルに基づいて生成される。
  • シーン認識技術：
    • SDF点合成前処理されたモーションデータに基づいて、モーション領域を定義し、周囲のオブジェクトのSDFポイントをランダムに生成して、シーン内の障害物をシミュレートします。
    • 衝突検知と修正SDFポイント検出は、キャラクターとシーンの間、またはキャラクター同士の間の衝突を検出し、衝突を回避するために移動軌道や速度を調整します。
  • プロットの理解とコマンドの生成このプロセスでは、大規模な言語モデル（Gemini 1.5など）を使用してプロットテキストを解析し、それを具体的な動作コマンドに変換します。自然言語処理技術に基づき、複雑なプロットは複数の動作コマンドに分解され、対応する動作生成モジュールに割り当てられます。
  • 拡張モジュール：
    • モーション同期補間技術（Slerpなど）は、異なるモジュールによって生成された動きが時間とともに滑らかに移行するようにするために使用されます。
    • 手のジェスチャーの取得CLIPモデルは、テキストによる説明に最も近い手のポーズを取得し、それを生成された動作に組み込みます。
    • 衝突修正キャラクター同士の衝突を避けるため、移動速度や経路を調整してください。
    • 3Dリダイレクト生成された動きは、視覚効果を高めるために、高品質の3Dデジタルキャラクターモデルにマッピングされます。
  • 統一モーション表現このシステムは、マーカーポイントを統一的な動作表現として使用し、さまざまなデータソース（SMPLやSMPL-Xモデルなど）からの動作データの抽出をサポートし、システムの拡張性と互換性を向上させます。

シットコム・クラフター・プロジェクトの住所

Sitcom-Crafterの応用事例

  • アニメーション制作キャラクターの動きを素早く生成し、手作業によるアニメーション制作の負担を軽減し、多様なアクションやストーリー主導型のアニメーションデザインをサポートできます。
  • ゲーム開発NPCの自然な行動やインタラクティブなアクションを設計し、動的なストーリー生成とリアルタイムのアクションフィードバックをサポートし、ゲームへの没入感を高めます。
  • 仮想現実（VR）と拡張現実（AR）仮想キャラクターの自然なインタラクションとシーンシミュレーションを生成し、ユーザーエクスペリエンスとインタラクションの自然さを向上させます。
  • 映画およびテレビ制作制作効率を向上させるため、初期段階のクリエイティブ検証、特殊効果シーンのデザイン、モーションキャプチャの置き換えなどに使用されます。
  • 教育と訓練シミュレーション訓練においてキャラクターの行動を生成し、仮想の教育アシスタントを作成し、複雑なシナリオにおける安全なデモンストレーションと教育を支援する。
戻る