MagicTryOn - 浙江大学、vivo、その他の機関が共同開発した、ビデオによる仮想試着フレームワーク。 - AiBoss

MagicTryOnとは何ですか？

MagicTryOnは、浙江大学コンピュータ科学技術学部とvivo Mobile Communicationsなどが共同開発したビデオ仮想試着フレームワークです。ビデオ拡散トランスフォーマーをベースとしたこのフレームワークは、従来のU-Netアーキテクチャをより表現力豊かな拡散トランスフォーマー（DiT）に置き換え、完全自己注意機構と組み合わせることで、ビデオの時空間的一貫性モデリングを実現しています。フレームワークは、粗密な衣服保存戦略を採用しており、埋め込み段階で衣服タグを統合し、ノイズ除去段階で意味、テクスチャ、輪郭条件を導入することで、衣服の詳細を効果的に保存します。MagicTryOnは、画像およびビデオの試着データセットの両方において、最先端の手法を凌駕する性能を発揮し、屋外シーンにおける評価指標、視覚品質、汎化能力において優れた性能を示しています。

MagicTryOnの主な機能

衣服のディテールはそのまま残されています衣服の質感、模様、輪郭を正確にシミュレートし、キャラクターの動きの中でもリアリティと安定性を維持します。
時空間的一貫性モデリング動画内のフレーム間の連続性を確保し、衣服のちらつきや揺れを防ぎ、スムーズな試着体験を提供する。
複数条件ガイダンステキスト、画像の特徴、衣服のマーキング、輪郭線などの様々な条件に基づいて、よりリアルで詳細な試着効果を生成します。

MagicTryOnの技術的原理

拡散トランス (DiT) アーキテクチャDiTのモジュール設計により、条件付き情報のより柔軟な注入が可能になり、多層構造の衣服の特徴をノイズ除去処理に効果的に統合できます。DiTに内蔵された完全自己注意機構は、ビデオの時空間的な一貫性を共同でモデル化し、フレーム内の局所的な詳細とフレーム間の動的な変化を捉えることができます。
粗いものから細かいものまで、衣類のお手入れ方法：
- 大まかな戦略埋め込みフェーズでは、ガーメントトークンが入力トークンシーケンスに挿入され、回転位置エンコーディング（RoPE）のグリッドサイズが拡張されて、ガーメントトークンと入力トークンが一貫した位置エンコーディングを共有できるようになります。
- 詳細な戦略ノイズ除去段階では、衣服の細部に関するきめ細かなガイダンスを提供するために、意味論的誘導型クロスアテンション（SGCA）モジュールと特徴誘導型クロスアテンション（FGCA）モジュールが導入されます。SGCAは、テキストタグとCLIP画像タグを入力として使用し、衣服の全体的な意味表現を提供します。FGCAは、衣服タグとアウトラインタグを組み合わせて、さらに詳細な局所情報を注入します。
マスク着用による損失マスクを考慮した損失関数を導入することで、モデルは衣服領域の生成に重点を置くことができ、衣服領域のディテールの忠実度と合成結果全体のリアリティを向上させることができる。
時空間的一貫性モデリングこの手法は、完全な自己注意機構を用いて動画の時空間的一貫性を共同でモデル化することで、空間情報と時間情報を別々にモデル化する従来の手法の限界を回避します。

MagicTryOnプロジェクトのアドレス

プロジェクト公式サイト：https://vivocameraresearch.github.io/magictryon/
GitHubリポジトリ：https://github.com/vivoCameraResearch/Magic-TryOn/
arXiv技術論文：https://arxiv.org/pdf/2505.21325

MagicTryOnの応用シナリオ

オンラインショッピングユーザーはオンラインで様々な服を試着できるため、ショッピング体験が向上します。
ファッションデザインデザイナーは衣服の外観を素早くプレビューできるため、デザインプロセスを加速できる。
バーチャル試着室実店舗向けにバーチャル試着サービスを提供することで、実店舗の試着室利用を削減する。
広告とマーケティングブランドは消費者を惹きつけるために、パーソナライズされた試着広告を作成する。
ゲームとエンターテイメントゲーム中にリアルタイムで仮想の服を試着することで、没入感を高めることができます。