StochSyncは、360°パノラマ画像や3Dメッシュテクスチャ用の高品質画像を生成するAI画像生成技術です。

StochSyncとは何ですか？

StochSync（確率的拡散同期）は、360°パノラマや3D表面テクスチャなど、複雑な空間における画像生成のために特別に設計された革新的な画像生成技術です。拡散同期（DS）と分数蒸留サンプリング（SDS）の利点を組み合わせ、拡散モデルの逆生成プロセス中に最大限のランダム性を導入することで、画像の詳細さと一貫性のバランスを取っています。StochSyncは追加のトレーニングを必要とせず、パノラマや3Dテクスチャ生成において非常に優れた性能を発揮し、画像条件がなくても高品質な画像を生成できます。

StochSyncの主な機能

• ゼロサンプル生成ターゲット空間のデータに対して追加のトレーニングは不要なため、過学習の問題を回避できます。
• 細部と一貫性のバランスを取る拡散同期（DS）の逆拡散過程に最大限のランダム性を導入し、それを多段階ノイズ除去法と組み合わせることで、DSのディテール品質が維持され、分画蒸留サンプリング（SDS）のコヒーレンスが実現される。
• 360°パノラマ画像の生成StochSyncは、画像条件がなくても高品質のパノラマ画像を生成でき、従来の微調整手法を凌駕する性能を発揮します。
• 3Dメッシュテクスチャ生成深度マップが与えられれば、StochSyncは既存の手法に匹敵するテクスチャを生成できる。

StochSyncの技術原理

• 拡散同期（DS）DSは、異なる投影空間でバックディフュージョン処理を共同で実行し、中間出力をターゲット空間で同期させることで、高品質な画像を生成します。しかし、十分な条件情報（深度マップや画像条件など）が不足している場合、DSは全体的な整合性の点で性能が低下します。
• 分別蒸留サンプリング（SDS）SDSは勾配降下法を用いてターゲット空間データを段階的に更新するため、より一貫性のある画像を生成できるが、多くの場合、詳細さに欠ける。
• 2つの方法を組み合わせるStochSyncは、DSのバックディフュージョンプロセスに最大限のランダム性を導入すること（つまり、各ステップでノイズレベルσ_tを最高値に設定すること）によってDSとSDSの関連性を初めて明らかにし、それを多段階ノイズ除去法と組み合わせることで、DSのディテール品質とSDSの一貫性を実現しました。

StochSyncの技術的利点

• 最大限のランダム性StochSyncは、ノイズ除去プロセスの各ステップに最大限のランダム性を導入することで、全体的な一貫性を向上させます。
• 多段階ノイズ低減従来の単一ステップ予測を複数ステップのノイズ除去処理に置き換えることで、生成される画像のリアリティがさらに向上する。
• 非重複ビューサンプリングStochSyncは、ビュー間の不整合を回避するために非重複ビューサンプリングを使用し、ビューの重複によって時間同期を実現します。

StochSyncプロジェクトのアドレス

• プロジェクト公式サイト：https://stochsync.github.io/
• arXiv技術論文：https://arxiv.org/pdf/2501.15445v1

StochSyncの応用シナリオ

• 高解像度画像の生成：最適化技術を用いることで、8K解像度のパノラマ画像を生成し、繰り返しパターンの発生を回避できる。
• 複雑な形状のテクスチャマッピング：StochSyncは3Dガウスモデルのテクスチャ生成に使用でき、複雑な形状への応用可能性を示している。