LBM - 制御可能な影生成を可能にするAI画像変換フレームワーク - AiBoss

LBMとは何ですか？

LBM（潜在ブリッジマッチング）は、Jasper Researchチームが開発した新しい画像間変換フレームワークです。潜在空間でブリッジマッチングを構築することで、高速かつ効率的な画像変換を実現します。LBMは単一の推論ステップでタスクを完了し、ターゲット除去、リライティング、深度および法線推定など、さまざまな画像変換シナリオに適用可能です。LBMはブラウンブリッジを使用してソース画像とターゲット画像の間にランダムなパスを確立し、サンプルの多様性を高めます。条件付きフレームワークにより、影の生成と画像のリライティングを制御できます。LBMは複数のタスクにおいて、既存の手法の最先端性能を達成または上回り、高い汎用性と効率性を示しています。

LBMの主な機能

標的の排除指定したオブジェクトとその影を画像から削除し、背景の整合性を維持します。
画像の再照明: 指定された背景や照明条件に基づいて前景オブジェクトを再照明し、既存の影や反射を除去します。
画像復元：劣化した画像を元の画質に復元し、鮮明な画像に変換します。
深度/法線マップの生成入力画像を深度マップまたは法線マップに変換し、3D再構築などのタスクで使用します。
影の生成を制御可能光源の位置、色、強度に基づいて影を生成することで、画像のリアリティを高める。

LBMの技術的原則

潜在空間符号化ソース画像とターゲット画像を低次元の潜在空間にエンコードすることで、計算コストが削減され、モデルのスケーラビリティが向上します。
ブラウン橋潜在空間内にランダムな経路（ブラウンブリッジ）を構築し、ソース画像とターゲット画像の潜在表現を連結します。このランダム性により、モデルは多様なサンプルを生成することが可能になります。
確率微分方程式（SDE）この手法は、確率微分方程式（SDE）を解くことで経路上の潜在表現を予測し、それによってソース画像からターゲット画像への変換を実現するものである。
条件付き枠組みLBMは、追加の条件変数（ライトマップなど）を導入することで、制御可能な画像の再照明と影の生成を実現できる。
ピクセル損失トレーニング中、生成された画像がターゲット画像と視覚的に一致するように、ピクセル損失（LPIPSなど）を使用してモデルが最適化されます。

LBMのプロジェクト住所

プロジェクト公式サイト：https://gojasper.github.io/latent-bridge-matching/
GitHubリポジトリ：https://github.com/gojasper/LBM
arXiv技術論文：https://arxiv.org/pdf/2503.07535
オンラインでデモを体験してください：https://huggingface.co/spaces/jasperai/LBM

LBMの応用シナリオ

常連ユーザー日常的な写真編集：不要な被写体の削除、古い写真の修復、照明の調整。
写真愛好家後処理は、影を追加したり調整したりすることで、写真のリアリティを高めます。
グラフィックデザイナークリエイティブなデザイン、深度マップ／法線マップの生成、そして画像の迅速な修復と調整。
ビデオエディター動画編集。動画フレームの修復、被写体の照明や影の調整などを含む。
3Dモデラー3Dモデリングを支援するために、写真から深度マップ／法線マップを生成する。