Ovis-U1 - アリババが発売したマルチモーダル統合モデル

Ovis-U1とは何ですか？

Ovis-U1は、アリババグループのOvisチームが開発した、30億個のパラメータを持つマルチモーダル統合モデルです。このモデルは、マルチモーダル理解、テキストから画像への生成、画像編集という3つのコア機能を統合しています。高度なアーキテクチャと協調的な統合トレーニング手法に基づき、高精度な画像合成と効率的なテキスト・ビジュアルインタラクションを実現します。Ovis-U1は、マルチモーダル理解、生成、編集に関する複数の学術ベンチマークテストで優れた結果を達成し、高い汎化能力と卓越したパフォーマンスを実証しています。

Ovis-U1の主な機能

• マルチモーダルな理解複雑な視覚シーンやテキストコンテンツの理解、画像に関する質問への回答、視覚的質問応答（VQA）タスクの実行、および画像の説明文の生成をサポートします。
• テキストから画像への生成テキストによる説明に基づいて高品質な画像を生成し、様々なスタイルや複雑なシーン描写に対応します。
• 画像編集テキストによる指示に基づいて画像を正確に編集することができ、画像内の要素の追加、調整、置換、削除、およびスタイルの変換などが可能です。

Ovis-U1の技術原理

• 建築設計：
  • ビジュアルデコーダー拡散ベースのTransformerアーキテクチャ（MMDiT）は、テキスト埋め込みから高品質の画像を生成します。
  • 双方向トークン精製器テキストと画像埋め込み間の相互作用を強化し、テキストから画像への合成および画像編集タスクのパフォーマンスを向上させる。
  • ビジュアルエンコーダーマルチモーダルタスクに適応するために、事前学習済みの視覚エンコーダー（Aimv2-large-patch14-448など）に基づいて微調整を行う。
  • アダプタビジュアルエンコーダーとマルチモーダル大規模言語モデル（MLLM）を接続して、ビジュアル埋め込みとテキスト埋め込みを整合させる。
  • マルチモーダル大規模言語モデル（MLLM）モデルの中核として、テキスト情報と画像情報を処理し、多様なマルチモーダルタスクをサポートする。
• 統一トレーニング方法Ovis-U1は、マルチモーダル理解、テキストから画像への変換、画像編集といったタスクを同時に学習することで、共有知識に基づいたモデルの汎化能力を向上させます。学習プロセスは6つの段階から構成され、様々なタスクにおけるモデルのパフォーマンスを段階的に最適化していきます。各段階には特定のタスクと学習目標が設定されており、モデルのマルチモーダル能力を徐々に向上させていきます。
• データ構成：
  • データのマルチモーダルな理解これには、公開されているデータセット（COYO、Wukong、Laion、ShareGPT4V、CC3Mなど）と、社内で開発されたデータが含まれます。
  • テキストから画像への生成データLaion5BおよびJourneyDBデータセットを用いて、事前学習済みモデルに基づいて詳細な画像説明を生成します。
  • 画像＋テキストから画像データの生成画像編集、参照画像に基づく画像生成、ピクセルレベルで制御された画像生成など、さまざまなタスクに対応しています。
• パフォーマンス最適化画像編集タスクでは、テキストと画像のガイド係数（CFG）を調整することで、編集指示を正確に制御します。モデルのマルチモーダル機能は、OpenCompass、GenEval、DPG-Bench、ImgEdit-Bench、GEdit-Bench-ENなどの複数のベンチマークを使用して包括的に評価されます。

Ovis-U1プロジェクトの住所

• GitHubリポジトリ：https://github.com/AIDC-AI/Ovis-U1
• ハギングフェイスモデルライブラリ：https://huggingface.co/AIDC-AI/Ovis-U1-3B
• 技術論文：https://github.com/AIDC-AI/Ovis-U1/blob/main/docs/Ovis_U1_Report.pdf
• オンラインでデモを体験してください：https://huggingface.co/spaces/AIDC-AI/Ovis-U1-3B

Ovis-U1の応用事例

• コンテンツ作成Ovis-U1は、テキストによる説明に基づいて高品質の画像および動画フレームシーケンスを生成するため、アーティストやビデオ編集者にとって、創造的なブレインストーミングやコンテンツ制作のための効率的なツールとなり、創造効率を大幅に向上させます。
• 広告とマーケティングこのモデルは、製品の特徴とターゲット層の説明に基づいて魅力的な広告画像や販促ポスターを生成し、ソーシャルメディアマーケティング用の画像や動画コンテンツを作成することで、ブランドのコミュニケーション効果を高め、より多くのユーザーの注目を集めるのに役立ちます。
• ゲーム開発Ovis-U1は、ゲームの背景やキャラクターの説明に基づいて、ゲームのシーン、キャラクター、小道具の画像を生成し、ゲームデザインのための創造的なインスピレーションと初期素材を提供します。
• 建築設計Ovis-U1は、建築様式や周辺環境の説明に基づいて、建築コンセプト図、インテリアシーン、家具配置図を生成し、クライアントが設計意図を迅速に理解できるよう支援するとともに、デザイナーが効率的に設計ソリューションを提示できるようサポートし、設計に関するコミュニケーション効率を向上させます。
• 科学研究このモデルは、複雑な科学現象やデータの視覚化、実験シナリオや装置の画像を生成することができ、研究者が研究結果をよりよく理解し、発表するのに役立ちます。