DiffSenseiは、制御可能な白黒コミックパネルを生成できるAIコミック生成フレームワークです。

DiffSenseiとは何ですか？

DiffSenseiは、北京大学、上海AI研究所、南洋理工大学の研究者らが共同開発した漫画生成フレームワークです。制御可能な白黒漫画パネルを生成します。DiffSenseiは、拡散ベースの画像生成器とマルチモーダル大規模言語モデル（MLLM）を統合し、漫画内の複数のキャラクターの外観と相互作用を精密に制御します。このフレームワークは、マスク付きクロスアテンション機構とMLLMアダプタを使用し、テキストプロンプトに基づいて表情、ポーズ、動きなどのキャラクターの特徴を動的に調整し、一貫性があり視覚的に魅力的な漫画パネルを生成します。DiffSenseiはMangaZeroデータセットを組み込んでおり、複数キャラクター、複数状態の漫画生成タスクをサポートします。

DiffSenseiの主な機能

カスタマイズされたコミック生成ユーザーが提供したキャラクター画像とテキストプロンプトに基づいて漫画を生成し、ユーザーはキャラクターの外見、表情、動作をカスタマイズできる。
マルチロール制御このフレームワークは、複数のキャラクターとシーンを含む漫画の生成をサポートし、キャラクター間の相互作用とレイアウトを処理します。
テキスト対応のアイデンティティ適応MLLMに基づき、テキストプロンプトに応じてキャラクターの特性が動的に調整され、キャラクターのパフォーマンスがテキストの説明と一致するようにする。
正確なレイアウト制御これは、マスクされた相互注意機構を使用して、ピクセルを直接送信することなく、キャラクターとセリフのレイアウトを正確に制御します。
データセットのサポートMangaZeroデータセットをご紹介します。これは、複数のキャラクターと複数の状態を含む漫画生成タスク向けに設計された、大規模なラベル付きデータセットです。

DiffSenseiの技術原理

MLLMと拡散モデルの統合テキスト対応のアイデンティティアダプタとしてMLLMを、拡散ベースの画像ジェネレータとしてMLLMを組み合わせることで、カスタマイズされたコミックパネルを生成できます。
マスクされた交差注意キーと値のマトリックスをコピーし、各クロスアテンションレイヤーに独立した文字クロスアテンションレイヤーを作成することで、文字レイアウトを正確に制御します。
ダイアログレイアウトエンコーディング対話レイアウトを表現するための学習可能な埋め込み層を導入し、対話埋め込みとノイズのある潜在表現を組み合わせて対話位置をエンコードします。
機能アダプタとしてのMLLMMLLMは、入力としてソース文字の特徴とパネルタイトルを受け取り、テキストと互換性のあるターゲット文字の特徴を生成し、文字の状態を動的に調整します。
マルチロール特徴抽出ローカル特徴量と画像レベルの特徴量は、CLIPと画像エンコーダを用いて抽出される。特徴抽出処理に基づき、微細な空間特徴量は参照画像から直接エンコードすることで回避される。
拡散損失と言語モデル損失MLLMのトレーニング中、出力形式を制約するために言語モデル損失（LM損失）が計算され、パネルタイトルに基づいてターゲット文字の特徴を誘導するために平均二乗誤差損失（MSE損失）が計算され、編集された特徴が画像生成器と一致するように拡散損失が計算されます。

DiffSenseiのプロジェクトアドレス

プロジェクト公式サイト：jianzongwu.github.io/projects/diffsensei
GitHubリポジトリ：https://github.com/jianzongwu/DiffSensei
arXiv技術論文：https://arxiv.org/pdf/2412.07589

DiffSenseiの応用シナリオ

漫画制作アーティストや漫画家は、脚本を素早く視覚的な物語に変換することで、漫画ページを作成し、創作効率を向上させることができる。
パーソナライズされたコンテンツ生成ユーザーは、自身のストーリーアイデアに基づいてキャラクター画像をアップロードし、個人的な娯楽やソーシャルメディアでの共有のために、パーソナライズされたコミックコンテンツを作成します。
教育と訓練教育分野において、授業内容に合った視覚的な物語を作成することは、生徒が複雑な概念をよりよく理解し、記憶するのに役立ちます。
映画とゲームは事前に制作済みです映画制作やゲームデザインにおいては、ストーリーボードやコンセプトアートを迅速に作成するためのプレファブリケーションツールとして機能し、初期段階のクリエイティブ開発やビジュアル開発を促進する。
広告とマーケティングマーケターは、斬新な方法でターゲット層を引きつけるために、魅力的なコミック形式の広告を作成する。