SHMT - アリババDAMOアカデミーが武漢理工大学などの機関と共同で開発した、自己監視型メイクアップ転写技術。

SHMTとは何ですか？

SHMT（Self-supervised Hierarchical Makeup Transfer）は、アリババDAMOアカデミーと武漢理工大学などが共同開発した高度な自己教師ありメイクアップ転送技術です。この技術は潜在拡散モデルを利用しており、ペアとなるトレーニングデータを必要とせずに、ターゲットとなる顔画像に様々なメイクアップスタイルを自然に適用できます。SHMTは「分離・再構成」戦略を採用し、ラプラシアンピラミッドと反復デュアルアライメントモジュールを組み合わせることで、異なるメイクアップスタイルにおけるテクスチャの詳細を柔軟に制御し、アライメントエラーを動的に補正することで、メイクアップ転送の有効性と忠実度を大幅に向上させています。その最大の利点は、複雑な顔の特徴や表情の変化に対応し、高品質な転送結果を提供できる点にあります。

SHMTの主な機能

• 効率的な移行：複数のメイクスタイルを扱う際にも効率性と高品質を維持し、与えられた顔のイメージに合わせて多様なメイクスタイルを自然かつ正確に適用することができます。
• 動的アライメント補正：デュアルアライメント（IDA）モジュールを反復処理することで、各ノイズ除去ステップにおいて注入条件が動的に調整され、コンテンツとメイクアップ表現間のドメインギャップによって引き起こされるアライメントエラーが修正されます。
• 多様な用途：画像処理、スタイル変換、コンピュータビジョンなど、複数の分野に適用可能であり、例えば、ECプラットフォーム上でのオンラインメイクアップ試着などが挙げられる。

SHMTの技術原理

• 自己教師あり学習：SHMTは、「分離・再構築」パラダイムに基づいた自己教師あり学習戦略を採用し、モデルを訓練します。質の低い偽造参照データに依存しないため、モデルを誤導する問題を回避できます。分離と再構築によって、ラベル付きデータがなくてもモデルは効果的に学習できます。
• レイヤー化されたテクスチャの詳細処理：この技術は、メイクアップの工程をベースメイク、アイメイク、リップメイクなど複数のレイヤーに分解します。ラプラシアンピラミッド法を用いて、さまざまなメイクアップのディテールをレイヤーごとに分解し、顔のコンテンツ表現に選択的に統合することで、多様なメイクアップスタイルへの柔軟な対応を可能にします。
• 動的に修正されたアライメントエラー：個別アライメントモジュール（IDA）を繰り返し実行することで、拡散モデルにおけるメイクアップ注入プロセスが動的に調整され、顔の内容とメイクアップスタイルの不一致が徐々に修正されます。各ノイズ除去ステップにおいて、IDAは中間ノイズ結果を用いて注入条件を動的に調整し、アライメントエラーを修正します。

SHMTプロジェクトの住所

• GitHubリポジトリ：https://github.com/Snowfallingplum/SHMT
• arXiv技術論文：https://arxiv.org/pdf/2412.11058

SHMTの適用シナリオ

• ソーシャルメディアの美肌フィルター：SHMTはソーシャルメディアプラットフォームに適用することで、ユーザーにリアルタイムの美容フィルター効果を提供し、写真を投稿する前にさまざまなメイクスタイルをプレビューできるようにします。これにより、ユーザーのインタラクティブ性と楽しさが向上し、プラットフォームのユーザーエクスペリエンスが向上します。
• バーチャルメイクアップ試着アプリ：eコマース分野では、SHMT技術をバーチャルメイクアップ試着アプリに統合することで、顧客はオンラインで様々な化粧品を試着し、ショッピング体験を向上させることができます。ユーザーは自分の写真をアップロードし、様々なメイクアップスタイルを選択し、リアルタイムで効果をプレビューできます。
• 映画やゲームのキャラクターデザイン：エンターテインメント業界では、SHMT（ソフトウェア・ヒューマン・メディア・ツール）は、映画やゲームのキャラクターのメイクを素早く変更したりデザインしたりするために活用でき、制作効率の向上につながります。これにより、時間とコストを節約できるだけでなく、キャラクターデザインにおける創造性と柔軟性も向上します。
• パーソナライズされた広告作成：広告業界はSHMT技術を活用することで、ターゲット層の好みに合わせてモデルのメイクをカスタマイズし、広告をより魅力的にすることができる。パーソナライズされたメイクデザインを通して、広告はターゲット層をより効果的に惹きつけ、コンバージョン率を向上させることができる。