Fashion-VDM - Googleとワシントン大学が共同で開発したバーチャル試着技術

Fashion-VDMとは何ですか？

Fashion-VDMは、Googleとワシントン大学が共同開発した、ビデオ拡散モデル（VDM）に基づく仮想試着技術です。衣服の画像と人物の動画を入力として、その人物の身元と動きを維持しながら、指定された衣服を着用した高品質な試着動画を生成できます。Fashion-VDMは、拡散モデルアーキテクチャ、自由誘導型セグメンテーション分類器、および段階的な時間的トレーニング戦略を用いることで、ビデオ仮想試着における衣服のディテールと時間的一貫性の課題を解決します。限られた動画データでも、画像と動画の共同トレーニングによって衣服の忠実度を向上させ、ビデオ仮想試着の分野に新たなレベルをもたらします。

Fashion-VDMの主な機能

• バーチャル試着動画を生成するファッションVDMは、与えられた衣服の画像と人物の動画を組み合わせることで、その人物がその衣服を着用している動画を生成する。その際、人物の本来のアイデンティティと動作は維持される。
• 服装の細部や時間に一貫性を保つ。これは、既存のビデオによる仮想試着方法における、衣服の詳細情報の欠落や時間的な一貫性の欠如といった問題点に対処するものです。
• 衣服の忠実度を向上させる分割分類器不要誘導技術に基づき、衣服画像のディテールの制御性と忠実度を向上させます。
• 動画生成効率を最適化する段階的な時間学習戦略を用いることで、64フレームの単一処理で512ピクセルの動画を生成し、動画生成の効率と品質を向上させる。
• 画像と動画の合同トレーニングトレーニング中に画像データと動画データを組み合わせること、特に動画データが限られている場合には、モデルの性能を向上させることができる。

Fashion-VDMの技術原理

• 拡散モデルアーキテクチャFashion-VDMは、ノイズの中から徐々に鮮明な画像や動画を復元する拡散モデルに基づいています。
• 3D畳み込みと時間的注意ブロックメインのUNetネットワークに3D畳み込みと時間的注意ブロックを追加して、ビデオフレーム間の時間的な一貫性を維持します。
• 分割分類器不要のガイダンス複数の条件信号を独立して制御する技術であり、モデルが生成される結果をより正確に制御し、衣服の忠実度とビデオフレーム間の一貫性を向上させることを可能にする。
• 段階的時間トレーニングこのモデルは複数の段階を経て学習を進め、ビデオフレームの長さを徐々に長くしていきます。まず画像データから始め、学習に使用するビデオフレームを徐々に長くしていき、最終的に目標の64フレームに到達します。
• 画像と動画の合同トレーニングトレーニング中は画像データと動画データが使用され、条件付きネットワーク分岐技術が採用されて、画像バッチトレーニング中の時間ブロックへの更新がスキップされるため、データの多様性とトレーニングの安定性が向上します。
• 前処理とエンコード入力されたビデオと衣服の画像は、人間の姿勢、衣服に依存しないフレーム、衣服のセグメンテーション、衣服の姿勢などの情報を抽出するために前処理され、その後、さまざまなUNetエンコーダを使用してエンコードされます。

Fashion-VDMプロジェクトの住所

• プロジェクト公式サイト：johannakarras.github.io/Fashion-VDM
• arXiv技術論文：https://arxiv.org/pdf/2411.00225

ファッションVDMの応用シナリオ

• オンライン衣料品ショッピング消費者はバーチャル試着機能を利用することで、購入前に服の着心地をより直感的に確認できるため、サイズやスタイルが合わないことによる返品や交換の問題を軽減できる。
• ファッションデザインとマーケティングファッションデザイナーやブランドは、自らのデザインを発表し、市場の反応を予測し、デザインおよびマーケティングコストを削減する。
• eコマースプラットフォームEコマースプラットフォームは、ファッションVDM技術を統合することで、オンラインショッピングのインタラクティブ性と楽しさを向上させ、消費者の購買意欲を高めることができる。
• バーチャルファッションショーバーチャルファッションショーは、服を披露することで、より刺激的でリアルな展示効果を提供する。
• ソーシャルメディアマーケティングブランドやインフルエンサーは、ソーシャルメディア上で魅力的なコンテンツを作成することで、ユーザーエンゲージメントとブランド認知度を高めることができる。