AB
AB
AiBoss

すべてのカテゴリ

project

SynCDは、Metaとカーネギーメロン大学が開発した、テクスチャ画像合成のためのオープンソースのトレーニングデータセットです。

SynCD（Synthetic Customization Dataset）は、カーネギーメロン大学とMetaが公開した高品質の合成トレーニングデータセットで、テキストから画像への変換モデルのカスタマイズ機能を向上させるために使用されます。SynCDには、複数の同一のオブジェクトが含まれています。

SynCDとは何ですか？

SynCD（Synthetic Customization Dataset）は、カーネギーメロン大学とMetaが開発した高品質な合成トレーニングデータセットで、テキストから画像へのモデルのカスタマイズ機能を向上させることを目的としています。SynCDには、異なる照明、背景、ポーズで撮影された同一オブジェクトの画像が含まれています。マスク付き共有アテンションメカニズムと3Dアセットガイダンス（Objaverseなど）を使用して、異なる画像間でオブジェクトの一貫性を確保します。SynCDは、言語モデル（LLM）を使用して詳細なオブジェクトの説明と背景シーンを生成し、ディープラーニングによるテキストから画像へのモデルと組み合わせて、結合された画像を生成します。SynCDは、現実世界におけるマルチビュー、マルチ背景オブジェクトの大規模な画像を収集するという課題に取り組み、チューニング不要のモデルカスタマイズのための豊富なトレーニングリソースを提供するとともに、新しいシーンで特定のオブジェクトを生成する際の画像品質と識別保持機能を大幅に向上させます。

SynCDの主な機能

  • 多様なトレーニングサンプルを提供する複数の視点や背景から画像を生成することで、モデルの物体に対する視覚的理解力が向上する。
  • オブジェクトの一貫性を向上させる共有アテンションメカニズムと3Dアセットガイダンスに基づいて、異なる画像間でオブジェクトの一貫性を維持し、生成画像におけるオブジェクトの特徴のずれを防ぎます。
  • 生成品質を向上させる高品質な合成データを用いて、カスタマイズされたタスクにおけるモデルの画質と本人確認機能を向上させる。
  • チューニングなしでカスタマイズをサポートチューニング不要の手法に対するデータサポートを提供し、新しいオブジェクトごとにコストのかかる最適化手順を回避します。

SynCDの技術的原則

  • 言語モデル支援型プロンプト生成：
    • 詳細なオブジェクトおよび背景シーンの説明は、言語モデル（LLama3など）を使用して生成されます。剛体オブジェクトの場合は、Cap3Dが提供するオブジェクト説明が使用されます。変形可能なオブジェクトの場合は、カテゴリ名から直接詳細な説明が生成されます。
    • LLMに基づいて複数の背景記述が生成され、オブジェクト記述と背景記述が組み合わされて、複数画像によるプロンプトが生成されます。
  • マスクされた共有注意（MSA）：
    • 複数の画像を生成する際、異なる画像におけるオブジェクトの一貫性を確保するために、マスク共有アテンション機構に基づいて前景オブジェクト領域の特徴が共有されます。
    • 拡散モデルのアテンションモジュールでは、各画像の特徴は、その画像自体だけでなく、他の画像内のオブジェクトの特徴にも焦点を当て、マスクに基づいて背景領域を無視します。
  • 3Dアセットガイダンス：
    • 剛体オブジェクトの場合、Objaverseの3Dアセットを使用してマルチビューレンダリングを行い、深度マップと対応する画像を生成します。
    • 深度ガイダンスとマルチビュー対応に基づき、オブジェクトの3D一貫性がさらに向上します。ピクセルレベルのクロスビュー対応をサポートし、ある画像の特徴を別の画像に「歪ませる」ことで、異なる視点間でもオブジェクトの形状と色が一貫しているようにします。
  • データフィルタリングと品質管理：
    • 低品質または一貫性のない画像は、美的スコアとオブジェクト類似性（DINOv2特徴空間を介して計算）を使用してフィルタリングされ、最終的なデータセットの品質が確保されます。
    • 自動フィルタリング手順に基づいて、要件を満たさない画像が削除され、最終的に高品質の合成データセットが生成されます。

SynCDのプロジェクトアドレス

SynCDのアプリケーションシナリオ

  • パーソナライズされたコンテンツ生成ユーザーは自分の持ち物やペットの写真をアップロードでき、システムはテキストによる指示に基づいて、さまざまなシーンやスタイルの新しい画像を生成し、個々のニーズに対応します。
  • クリエイティブデザインと芸術的創造デザイナーやアーティストは、コンセプトイメージを迅速に生成したり、デザインアイデアを検証したり、特定のスタイルの作品を制作したりすることができ、創造的な表現の効率性を向上させることができます。
  • 仮想シーンの構築仮想現実（VR）や拡張現実（AR）では、仮想シーン内に特定のオブジェクトが生成され、例えば、仮想キャラクターをさまざまな環境に配置することで没入感を高めることができる。
  • 広告とマーケティングブランドは、広告に使用するために、さまざまな使用場面やターゲット層の環境における製品の画像を生成し、魅力と説得力を高めることができる。
  • 教育と訓練教育分野では、生徒が知識をより深く理解し、学習成果を向上させるために、歴史的な遺物を古代の環境に配置するなど、教材を作成することができる。
戻る