OneDiffusion - 双方向の画像合成と理解をシームレスにサポートするオープンソースの拡散モデル。

OneDiffusionとは何ですか？

AI2が開発した多機能大規模拡散モデル「OneDiffusion」は、双方向の画像合成と理解をシームレスにサポートし、テキストからの画像生成、条件付き画像生成、画像理解など、さまざまなタスクに対応します。OneDiffusionは、すべての条件付き画像とターゲット画像を「ビュー」のシーケンスとしてモデル化することで学習され、推論時に任意のフレームを条件付き画像として使用できます。OneDiffusionは、統一された学習フレームワーク、拡張性、マルチタスクサポートにより、汎用的なビジュアルモデルソリューションを提供します。

OneDiffusionの主な機能

• テキストから画像への合成テキストプロンプトから高品質でリアルな画像を生成します。
• 条件付き画像生成入力画像（深度マップや姿勢マップなど）に基づいて新しい画像を生成します。
• 画像理解深度推定、姿勢推定、画像セグメンテーションなどのタスクを実行します。
• マルチビュー生成1枚の画像から、複数の視点から一貫性のあるビューを生成する。
• 瞬時のパーソナライズ連続画像入力を用いたパーソナライズされた生成。
• IDカスタマイズ個人識別情報に基づいた画像のカスタマイズおよび生成。
• ゼロショット高解像度生成トレーニング中に高解像度の画像に遭遇しなくても、高解像度の画像を生成できる。

OneDiffusionの技術原則

• ストリームマッチングフレームワーク: フローマッチングフレームワークを使用して連続時間生成モデルを訓練し、時間依存ベクトル場変換の確率分布を学習する。
• シーケンスモデリング条件全体とターゲット画像は一連の「ビュー」としてモデル化され、トレーニング中にシーケンスとして処理されます。各ビューは異なるノイズレベルを持ちます。
• 柔軟なフレームワーク推論中、任意のビューを条件付き入力として使用したり、ノイズとして設定して出力画像を生成したりできます。
• 統一トレーニングフレームワーク統一されたトレーニングフレームワークに基づいているため、特定のアーキテクチャは不要となり、スケーラブルなマルチタスクトレーニングをサポートし、あらゆる解像度に対応できます。
• 騒音指令トレーニング中、各ビューの時間変数とガウスノイズは独立してサンプリングされ、ノイズレベルの異なるビューが生成される。

OneDiffusionプロジェクトの住所

• GitHubリポジトリ：https://github.com/lehduong/OneDiffusion/
• arXiv技術論文：https://arxiv.org/pdf/2411.16318

OneDiffusionの応用シナリオ

• 芸術的な創造とデザインテキストから画像への合成技術を用いることで、アーティストやデザイナーは創造的な説明から視覚的なコンテンツを生成でき、創作プロセスを加速させることができる。
• 広告とマーケティング条件付き画像生成：特定のブランドスタイルや市場動向に基づいて画像をカスタマイズし、広告やマーケティング資料に使用します。
• ゲーム開発ゲームデザインにおいて、迅速なプロトタイピングは、ゲーム環境、キャラクター、アイテムに関する多様な視点を生み出す。
• 仮想現実（VR）と拡張現実（AR）マルチビュー生成機能は360度パノラマ画像を生成し、VRおよびARアプリケーションにおける没入感を高めます。
• 映画とエンターテイメント映画制作においては、特殊効果シーンの予備的なスケッチを作成したり、シーンのレイアウトを素早くプレビューしたりするために使用される。