mPLUG-DocOwl2 - Alibabaは、複数ページの文書を理解するためのマルチモーダルな大規模モデルを発表しました。1ページあたりわずか324トークンしか必要としません。 - AiBoss

mPLUG-DocOwl2とは何ですか？

mPLUG-DocOwl 2 は、アリババ同義研究所の mPLUG チームによって開発された、複数ページ文書理解のためのマルチモーダル大規模言語モデルです。光学文字認識 (OCR) 技術に頼ることなく、高解像度文書画像圧縮によって文書画像の効率的な理解と処理を実現します。mPLUG-DocOwl 2 は、複数ページ文書理解ベンチマークにおいて、文書画像 1 ページあたりわずか 324 トークンしか消費しないという、新たな最先端 (SOTA) 標準を達成し、メモリ使用量と初期パケット時間を削減し、処理速度を向上させています。モデルのトレーニングは、単一ページ事前トレーニング、複数ページ事前トレーニング、およびマルチタスク命令の微調整の 3 つの段階で構成されています。mPLUG-DocOwl 2 は、単一ページ文書の理解をサポートするだけでなく、ページ間のコンテンツ関連付けや構造解析など、複数ページ文書の複雑な問題にも対応できます。

mPLUG-DocOwl2の主な機能

複数ページにわたる文書を理解するOCR技術に頼ることなく、複数ページの文書画像から直接情報を抽出し、理解する。
高解像度画像処理高解像度文書画像圧縮モジュールは、文書画像の各ページを324個のビジュアルトークンに圧縮することで、ビデオメモリの使用量と初期パケット時間を削減します。
複数ページにわたる質疑応答機能複数ページにわたる文書に関する質問に、詳細な説明と関連するページ番号を添えて回答する。
文書構造分析複数ページにわたる文書の階層構造を解析・表現し、データ処理や分析を容易にするためにJSON形式で出力します。
ページ間コンテンツの関連付けこれは、複数ページにわたる文書内の各ページの内容を理解し、関連付けるのに役立ち、ページ構造の理解を深めます。
高効率処理単一のA100-80G GPUで、最大60ページの高解像度文書画像を同時に処理できるため、処理効率が向上します。

mPLUG-DocOwl2の技術的原理

高解像度文書画像圧縮（高解像度DocCompressor）低解像度のグローバルな視覚的特徴を指針として、クロスアテンション機構を用いて高解像度の文書画像をより少ない視覚トークンに圧縮する。
Shape-adaptive Cropping適応型トリミングモジュールは、文書の形状とサイズに応じて文書をカットし、さまざまなページのレイアウトに合うようにします。
視覚的特徴抽出各スライスの視覚的特徴は、ビジュアルエンコーダ（ViTなど）を使用して抽出され、特徴のマージと次元のアライメントはH-Reducerモジュールを使用して実行されます。
クロスアテンションメカニズム圧縮処理中、グローバルグラフ特徴量はクエリとして、スライス特徴量はキーと値のペアとして使用されます。特徴量の圧縮は、クロスアテンション層によって実現されます。
グローバルな視覚的特徴とローカルな視覚的特徴を組み合わせるグローバルな視覚的特徴（レイアウト情報の取得）とローカルな視覚的特徴（テキストや画像の詳細の保持）を組み合わせることで、より正確な文書理解が可能になる。

mPLUG-DocOwl2のプロジェクトアドレス

GitHubリポジトリ：https://github.com/X-PLUG/mPLUG-DocOwl/tree/main/DocOwl2
arXiv技術論文：https://arxiv.org/pdf/2409.03420v2

mPLUG-DocOwl2の応用シナリオ

法律文書分析法律文書や判例を自動的に解析し、重要な情報を抽出し、法律調査や訴訟準備を支援する。
医療記録管理患者ケア、研究、および管理を支援するために、医療記録や報告書から重要なデータを抽出する。
学術研究これは研究者が膨大な量の文献を迅速に理解し要約するのに役立ち、科学的発見と知識革新を加速させる。
財務報告分析年次報告書、財務諸表、その他の財務文書の処理を自動化し、主要な財務指標と傾向を抽出します。
政府文書の処理政府の発表、規制、政策文書の自動処理は、行政サービスの効率性を向上させる。