D-DiT - イェール大学がByte Seedおよびその他の機関と共同で開発したマルチモーダル拡散モデル。 - AiBoss

D-DiTとは何ですか？

D-DiT（Dual Diffusion Transformer）は、カーネギーメロン大学、イェール大学、ByteDance Seed Labが共同開発したマルチモーダル拡散モデルで、画像生成と画像理解のタスクを統合します。このモデルは、連続画像拡散（ストリームマッチング）と離散テキスト拡散（マスク拡散）を組み合わせ、双方向アテンションメカニズムに基づいて画像とテキストのモダリティを同時に学習します。D-DiTは、テキストから画像、画像からテキストへの双方向生成タスクを実行でき、視覚的な質問応答や画像キャプション生成など、さまざまなアプリケーションをサポートします。マルチモーダル拡散Transformerアーキテクチャに基づき、拡散ターゲットと共同で学習されたこのモデルは、自己回帰モデルに匹敵するマルチモーダル理解および生成能力を発揮し、視覚言語モデル開発の新たな方向性を示します。

D-DiTの主な機能

テキストから画像への生成入力されたテキスト説明に基づいて、高品質な画像を生成します。
画像からテキストへの変換入力された画像に基づいて、画像の説明、タイトル、視覚的な質問への回答などの説明文を生成します。
ビジュアルQ&A画像と質問文を組み合わせて、正確な回答を生成します。
マルチモーダルな理解画像の説明、視覚的な指示の理解、長文テキストの生成など、さまざまな視覚言語タスクをサポートします。
双方向発電機能テキストから画像への変換と画像からテキストへの変換の両方のタスクをサポートしており、高い柔軟性を提供します。

D-DiTの技術原理

2分岐拡散モデルD-DiTは、連続画像拡散と離散テキスト拡散を組み合わせた技術です。連続画像拡散では、フローマッチングを用いて逆拡散処理により画像を生成します。一方、離散テキスト拡散では、マスク拡散を用いてノイズを徐々に除去し、テキストを生成します。
マルチモーダルトランスフォーマーアーキテクチャ：
- 画像ブランチ画像データを処理し、画像の拡散ターゲットを出力する。
- テキストブランチテキストデータを処理し、テキストの配信対象を出力する。
共同訓練目標このモデルは、画像とテキストの両方のモダリティを、共通の拡散目的関数に基づいて同時に学習します。画像拡散損失はフローマッチング損失に基づいており、画像生成の逆拡散プロセスを最適化します。テキスト拡散損失はマスク拡散損失に基づいており、テキスト生成の逆拡散プロセスを最適化します。共同学習を通して、モデルは画像とテキスト間の共通の分布を学習します。
双方向注意機構D-DiTは双方向アテンション機構を採用しており、モデルが画像とテキストを柔軟に切り替えることができ、入力モダリティの順序を問わない処理をサポートしています。これにより、モデルは生成プロセス中に画像とテキストの両方からの情報を最大限に活用でき、マルチモーダルタスクのパフォーマンスが向上します。

D-DiTプロジェクトの住所

プロジェクト公式サイト：https://zijieli-jlee.github.io/dualdiff.github.io/
GitHubリポジトリ：https://github.com/zijieli-Jlee/Dual-Diffusion
arXiv技術論文：https://arxiv.org/pdf/2501.00289

D-DiTの応用シナリオ

テキストから画像への生成テキストの説明に基づいて高品質な画像を生成します。クリエイティブデザイン、ゲーム開発、広告制作、教育などに適しています。
画像からテキストへの変換視覚障害者を支援するために画像の説明文を生成し、コンテンツのおすすめ情報を提供したり、スマートなフォトアルバムを作成したりする。
ビジュアルQ&A画像と質問を組み合わせて正確な回答を生成するこの技術は、スマートアシスタント、教育ツール、顧客サポートなどに活用できる。
マルチモーダル対話システム対話の中で画像を組み合わせることで詳細な回答を生成でき、インテリジェントな顧客サービス、バーチャルアシスタント、教育指導などに適している。
画像編集と補正テキストの説明に基づいて画像を修復、変換、または強化します。画像復元、スタイル転送、および画像強化に使用されます。