Show-o - シンガポールの国立ショーラボとByteDanceが共同開発した、マルチモーダルな理解と生成のための統一モデル。

Show-oとは何ですか？

Show-oは、マルチモーダル理解と生成を統合した統一型Transformerモデルです。自己回帰モデルと離散拡散モデルを組み合わせることで、視覚的質問応答、テキストから画像への生成、テキスト誘導による画像修復と拡張、混合モーダル生成など、幅広い視覚言語タスクを柔軟に処理できます。Show-oモデルは、マルチモーダル理解と生成のベンチマークにおいて、既存の専用モデルと同等以上の性能を発揮し、画像生成に必要なサンプリングステップを削減し、効率性を向上させています。Show-oは、テキスト誘導による画像修復や拡張など、さまざまな下流アプリケーションを、追加の微調整を必要とせずにサポートします。

Show-oの主な機能

• 視覚的質問応答（VQA）画像の内容を理解し、それに関する質問に答えることができる。
• テキストから画像への生成テキストによる説明に基づいて対応する画像を生成し、創造的で多様な視覚的出力をサポートします。
• テキストガイドによる画像修復（インペインティング）画像内の欠落部分を特定し、テキストによる指示に基づいて修復することができます。
• テキスト誘導型画像拡張（外挿）テキストの説明に基づいて、新しい要素を追加したり、画像コンテンツを拡張したりします。
• 混合モード生成この技術は、テキストによる説明を組み合わせて動画のキーフレームを生成することで、長尺動画の生成を可能にする。
• マルチモーダルな理解と生成視覚情報と言語情報を統合することで、複雑なマルチモーダルタスクを処理する。

ショーオーの技術原理

• 自己回帰モデルと離散拡散モデルの統合Show-oモデルは、自己回帰モデルと離散拡散モデルを革新的に組み合わせることで、多様かつ混合的なモード入力と出力に適応的に対応します。
• 事前学習に基づく大規模言語モデル（LLM）Show-oのアーキテクチャは、事前学習済みのLLMをベースにしており、モデルの安定性とパフォーマンスを向上させるために、各アテンション層の前にQKノルム演算が追加されています。
• 離散的な画像ラベリングShow-oは、離散的なノイズ除去拡散を用いて離散的な画像マーカーをシミュレートすることで、追加のテキストエンコーダーの必要性を軽減します。
• 統一されたプロンプト戦略Show-oは、画像とテキストをトークン化して入力シーケンスを形成する統一的なプロンプト戦略を設計しており、マルチモーダル理解やテキストから画像への生成など、さまざまな種類のタスクに適応します。
• 完全な注意機構Show-oは、入力シーケンスの種類に基づいて因果的アテンションまたは完全アテンションを適応的に適用する、完全アテンションメカニズムを導入しています。テキストタグは因果的アテンションを使用し、画像タグは完全アテンションを使用することで、各画像タグがシーケンス内の他のすべてのタグと相互作用できるようにします。
• 研修目標Show-oは、次トークン予測（NTP）とマスクトークン予測（MTP）という2つの学習目標を採用し、同時に自己回帰モデルと（離散）拡散モデルを実行します。
• 混合モード生成Show-oは、テキスト記述とビデオキーフレームに基づく生成など、ハイブリッドなモーダル生成の可能性を示し、長尺ビデオ生成の新たな可能性を提供する。
• サンプリング手順を削減する自己回帰画像生成と比較して、Show-oはサンプリングステップ数が約20分の1で済むため、計算リソースの消費量を削減し、モデルの適用範囲の柔軟性を向上させる。

Show-oのプロジェクト住所

• GitHubリポジトリ：https://github.com/showlab/Show-o
• arXiv技術論文：https://arxiv.org/pdf/2408.12528
• オンラインでデモを体験してください：https://huggingface.co/spaces/showlab/Show-o

実例となるアプリケーションシナリオ

• ソーシャルメディアコンテンツの作成ユーザーはテキストによる説明文を入力することができ、Show-oはそれに対応する画像や動画を生成して、ソーシャルメディアの投稿内容を充実させることができます。
• バーチャルアシスタント仮想環境において、Show-oはユーザーの質問や指示に基づいて、説明画像やアニメーションを生成し、視覚的な支援を提供することができます。
• 教育と訓練Show-oは、教材用のグラフ、図表、およびサンプル画像を生成し、学習体験を向上させることができます。
• 広告とマーケティングShow-oは、製品説明やマーケティングコンセプトに基づいて、広告用の魅力的なビジュアルコンテンツを迅速に生成できます。
• ゲーム開発Show-oは、ビデオゲーム向けに独自のゲーム環境、キャラクター、アイテム画像を生成できます。
• 映画およびビデオ制作Show-oはプリプロダクション段階で、脚本に基づいてコンセプトアートやシーンデザインの図面を作成するなどのサポートを行う。