FitDiT - テンセントと復旦大学が開発した、高精度な仮想試着技術

FitDiTとは何ですか？

FitDiTは、テンセントと復旦大学が共同開発した高精細なバーチャル試着技術です。拡散トランスフォーマー（DiT）をベースとし、高解像度の特徴に着目することで、衣服のディテール表現を向上させています。FitDiTは、衣服のテクスチャ抽出器と衣服事前進化技術を用いて、ストライプ、パターン、文字などの衣服のテクスチャを捉える能力を高めています。また、拡張緩和マスキング戦略を採用することで、衣服のサイズ適応を最適化しています。FitDiTは、定性的評価と定量的評価の両方において優れた性能を発揮し、リアルで複雑なディテールを備えた試着画像を迅速に生成するとともに、高速な推論速度を誇り、バーチャル試着の分野に画期的な進歩をもたらしました。

FitDiTの主な機能

• 高精度のバーチャル試着ユーザーがさまざまな場面で特定の服を着たときの見た目を確認できるように、リアルな試着画像を生成できます。
• 食感を考慮した保存方法衣服のテクスチャ抽出器と衣服の事前学習に基づき、ストライプ、パターン、文字など、衣服上の複雑なテクスチャを正確に捉え、再現します。
• サイズを考慮したフィット感拡張・緩和マスキング戦略は、さまざまな衣服の長さや形状に適応するために使用され、異なるカテゴリーのフィッティング中に衣服の形状情報が漏洩するのを防ぎ、より正確な衣服のフィッティングを実現します。
• 迅速な推論DiT構造は、高忠実度の試着効果を維持しながら最適化されており、1024×768ピクセルの画像1枚あたりの推論時間をわずか4.57秒に短縮することで、試着プロセスの効率を向上させています。

FitDiTの技術原則

• Diffusion Transformers (DiT)FitDiTはDiTアーキテクチャに基づいており、高解像度の特徴に多くのパラメータと注意を割り当てることで、衣服の細部を処理する能力を向上させています。
• 衣類テクスチャ抽出器本稿では、衣服の過去の進化に基づいて衣服の特徴を微調整し、衣服の豊かなディテールをより正確に捉えるための、特殊な衣服テクスチャ抽出器を紹介する。
• 周波数領域学習独自の周波数距離損失関数に基づいて、高周波の衣服のディテールを強調し、衣服の質感やディテールの忠実度を向上させます。
• 拡張・緩和マスキング戦略サイズ感のフィット感の問題に対処するため、衣服の正しい長さに適応し、異種カテゴリーのフィッティング時にマスク領域全体を覆ってしまう衣服の生成を防ぎ、フィッティングの精度を向上させるために、拡張・緩和マスク戦略が採用されています。
• 構造的スリム化DiT構造は、テキストエンコーダーを削除することで最適化されており、これにより仮想試着への影響が小さくなり、モデルパラメータの数が減少し、モデルのトレーニングと推論の速度が向上します。
• ハイブリッド注意機構DenoisingDiTでは、ハイブリッドアテンションメカニズムを使用して、GarmentDiTから抽出された衣服の特徴をノイズ除去プロセスに注入し、高解像度の特徴の融合を実現しています。

FitDiTのプロジェクトアドレス

• プロジェクト公式サイト：byjiang.com/FitDiT
• GitHubリポジトリ：https://github.com/BoyuanJiang/FitDiT
• arXiv技術論文：https://arxiv.org/pdf/2411.10499

FitDiTの応用事例

• eコマースプラットフォーム衣料品小売ウェブサイトでは、消費者がオンラインショッピング中に様々な服を着た自分の姿を確認できるため、ショッピング体験と満足度が向上する。
• ファッション業界デザイナーは自身のデザインを披露することで、顧客が購入前に服が自分に似合うかどうかを事前に確認できるようにし、それによってデザインの魅力を高めている。
• パーソナライズされたカスタマイズ当社の服飾カスタマイズサービスは、お客様一人ひとりに合わせたフィッティング体験を提供し、サイズやスタイルがお客様のニーズに完璧に合致するようお手伝いいたします。
• 拡張現実（AR）と仮想現実（VR）AR（拡張現実）やVR（仮想現実）アプリケーションでは、よりリアルな試着体験が提供され、ユーザーは仮想環境内で服を試着したり、自分の仮想アバターを着せ替えたりすることができる。
• ソーシャルメディアソーシャルメディアプラットフォームでは、写真や動画を共有する際に、ユーザーがさまざまな服装スタイルを試着できるため、インタラクティブ性とエンターテイメント性が向上します。