IC-Portrait - チューリッヒ工科大学が浙江大学およびその他の機関と共同で開発した、パーソナライズされたポートレート生成フレームワーク。

IC-Portraitとは何ですか？

IC-Portraitは、ユーザープロファイル画像の多様性（外見や照明条件の違いなど）によって生じる課題に対処する、斬新なパーソナライズされたポートレート生成フレームワークです。ポートレート生成タスクを「照明を考慮したスティッチング」と「視点の一貫性適応」という2つのサブタスクに分解することで、高忠実度の本人確認と視点の一貫性を実現します。IC-Portraitは、自己教師あり照明特徴学習に高比率マスキングオートエンコーダー技術（入力画像の約80%をマスク）を使用し、合成視点一貫性データセットを使用して文脈的対応関係を学習します。

IC-Portraitの主な機能

• 身元保護IC-Portraitは、生成プロセスにおいて個人のアイデンティティの特徴を正確に保持することに重点を置いています。ポートレート生成タスクを、光を考慮したスティッチングと視点の一貫性適応という2つのサブタスクに分解することで、このフレームワークはアイデンティティ保持の忠実度と安定性を大幅に向上させます。
• 3D対応リライティングIC-Portraitは、3D対応の再照明機能を備えており、様々な照明条件下で高品質なポートレートを生成できます。これにより、生成されたポートレートは一貫した視点を維持し、多様な照明条件に適応します。
• 既存の生産パイプラインとの互換性IC-PortraitはControlNetと互換性のある参照フィーチャを生成するため、既存の生成パイプラインへの容易な統合が可能です。これにより、フレームワークは既存の画像生成ツールとシームレスに連携し、ユーザーが既存のワークフローに容易に統合できるようになります。

ICポートレートの技術原理

• ビューに一貫性のある適応IC-Portraitは、合成された視点一貫性データセットを通して文脈的な対応関係を学習し、参照ポートレートを任意のポーズに変形させ、堅牢な空間位置合わせの視点条件を提供します。これにより、生成されたポートレートは異なる視点間でも一貫性を維持します。
• 照明を考慮したステッチングこのフレームワークは、高比率マスキングオートエンコーダー技術（入力画像の約80%をマスクする）に基づいており、自己教師あり学習によって参照画像の照明特性を学習します。これにより、局所的な照明情報と全体的な影の効果を維持しながら、ユーザーのデータ画像と参照画像間の適応ギャップを効果的に低減します。

IC-Portraitプロジェクトの住所

• arXiv技術論文：https://arxiv.org/pdf/2501.17159

ICポートレートの応用例

• ソーシャルメディアとパーソナルブランディングIC-Portraitを使えば、ユーザーはさまざまな視点や照明条件でパーソナライズされたポートレートを作成し、ソーシャルメディアのプロフィール写真やパーソナルブランドのプロモーション素材として利用できます。
• 芸術的な創造とデザインアーティストやデザイナーは、IC-Portraitを使用して、特定のスタイルや照明効果を用いた肖像画作品を制作し、さまざまな芸術表現を探求することができます。
• バーチャル試着とファッション小売ファッション業界において、ICポートレートはバーチャル試着技術と組み合わせることで、ユーザーが様々な服装を着こなした際の自分の姿を確認でき、よりパーソナルで便利なショッピング体験を提供できる。
• ゲームとバーチャルリアリティ（VR）IC-Portraitは、特定の個性を持つ仮想キャラクターを生成することができ、ゲームやVR環境におけるインタラクティブ性と没入感を向上させます。