mPLUG-DocOwl 1.5 - Alibabaのオープンソースのマルチモーダル大規模言語モデル

mPLUG-DocOwl 1.5とは何ですか？

mPLUG-DocOwl 1.5は、アリババグループが発表したマルチモーダル大規模言語モデルで、OCR不要の文書理解に重点を置いています。統一構造学習に基づき、文書、表、グラフなどのリッチテキスト画像の構造情報を理解する能力が向上しています。mPLUG-DocOwl 1.5には、構造認識型構文解析タスクと多粒度テキスト位置特定タスクが含まれており、文書、Webページ、表、グラフ、自然画像の5つのドメインをカバーしています。mPLUG-DocOwl 1.5のH-Reducerモジュールは、畳み込み層に基づいて水平方向に隣接する画像パッチをマージし、レイアウト情報を保持しながら視覚的特徴長を短縮することで、高解像度画像を効率的に処理できるようにします。複数の視覚文書理解ベンチマークにおいて、このモデルは業界をリードするOCR不要のパフォーマンスを発揮し、最先端のパフォーマンスを10ポイント以上向上させています。

mPLUG-DocOwl 1.5の主な機能

• 構造を考慮した文書解析文書内の改行や空白などのテキスト構造を識別して解析し、文書の構成を理解する。
• 表をマークダウンに変換表画像をMarkdown形式に変換することで、処理と閲覧が容易になります。
• チャートをマークダウングラフ画像を、重要なデータと構造情報を保持したままMarkdown形式に変換します。
• 自然画像解析自然風景の画像を分析し、その中に含まれるテキスト情報を識別・理解する。
• 多段階テキスト配置テキストの位置をさまざまな粒度レベル（単語、フレーズ、行、ブロック）で特定することで、モデルのテキスト位置識別能力を向上させます。

mPLUG-DocOwl 1.5の技術原理

• 統一構造学習構造を考慮した構文解析と多粒度テキスト位置特定タスクに基づいて、このモデルはテキストが豊富な画像を理解し処理する方法を学習します。
• H-Reducerビジュアルテキストモジュール畳み込み層を通して水平方向に隣接する視覚的特徴を統合することで、レイアウト情報を維持しながら特徴の長さを短縮し、大規模な言語モデルが高解像度画像をより効率的に処理できるようにする。
• マルチモーダル大規模言語モデル（MLLM）視覚エンコーダーと大規模な言語モデルを組み合わせ、ビジョン・トゥ・テキストモジュール（H-Reducerなど）を使用することで、モデルは視覚コンテンツに関連する言語記述を理解し、生成することができる。
• 大規模データセットでのトレーニングDocStruct4MやDocReason25Kなどの大規模なラベル付きデータセットを使用することで、このモデルは様々な文書や画像からテキスト構造や意味情報を学習することができる。
• 2段階のトレーニングフレームワークまず、統一された構造を学習し、次に、モデルが様々な下流タスクで良好なパフォーマンスを発揮できるように、マルチタスク調整を行う。

mPLUG-DocOwl 1.5 のプロジェクトアドレス

• GitHubリポジトリ：X-PLUG/mPLUG-DocOwl/tree/main/DocOwl1.5
• arXiv技術論文：https://arxiv.org/pdf/2403.12895

mPLUG-DocOwl 1.5の応用シナリオ

• 自動文書処理企業や政府機関において、契約書、請求書、報告書、各種様式といった大量の文書の解析と理解を自動化することで、業務効率が向上し、人的介入が削減される。
• インテリジェント検索エンジンmPLUG-DocOwl 1.5を検索エンジンに統合することで、画像内のテキストコンテンツを検索する機能が強化され、より正確な検索結果が得られます。
• 読解力と理解力の向上を支援するこれは、文書構造を解析して容易にアクセスできる情報を提供することで、特に視覚障害者にとって、複雑な文書の内容をよりよく理解するのに役立ちます。
• 教育と学術研究教育分野においては、学生や研究者が教科書、学術論文、研究資料などの複雑な情報を理解するのに役立つ。
• カスタマーサービスとサポート顧客サービスシステムでは、mPLUG-DocOwl 1.5を使用して、ユーザーがアップロードしたドキュメントを解析し、重要な情報を自動的に抽出し、より迅速なサービス対応を実現しています。