PP-DocBee - Baidu PaddlePaddleが発表した、文書と画像理解のためのマルチモーダル大規模モデル - AiBoss

PP-DocBeeとは何ですか？

PP-DocBeeは、Baidu PaddlePaddleチームが開発したマルチモーダル大規模モデルで、文書画像理解に特化しています。ViT+MLP+LLMアーキテクチャをベースとし、強力な中国語文書解析機能を備え、テキスト、表、グラフなど様々な種類の文書を効率的に処理します。PP-DocBeeは、同程度のパラメータサイズを持つモデルを対象とした権威ある学術評価において、最先端（SOTA）の性能を達成しており、社内ビジネスにおける中国語シナリオで優れた性能を発揮します。PP-DocBeeの推論性能は、応答時間を短縮しつつ高品質な出力を維持できるよう最適化されています。PP-DocBeeは、文書質問応答や複雑な文書解析などのシナリオに適しており、複数の導入方法に対応し、文書処理のための効率的かつインテリジェントなソリューションを提供します。

PP-DocBeeの主な機能

文書内容の理解PP-DocBeeは、文書画像内のテキスト、表、グラフ、その他の要素を正確に認識・理解し、テキストや画像を含むマルチモーダル入力に対応しています。
ドキュメントに関するQ&A文書の内容に基づいて質問を作成し、文書内の情報を組み合わせて正確な回答を生成します。
構造化情報抽出文書（表やグラフなど）に含まれる情報を構造化データに変換し、さらなる分析や処理を容易にする。

PP-DocBeeの技術原理

建築設計ViT（ビジュアルトランスフォーマー）＋MLP（多層パーセプトロン）＋LLM（大規模言語モデル）のアーキテクチャに基づき、ビジュアルモデルと言語モデルの利点を組み合わせることで、エンドツーエンドの文書理解を実現します。
データ合成と前処理中国語文書の理解における限界に対処するため、小型OCRモデルと大型LLMモデルを組み合わせ、レンダリングエンジンに基づいて画像データを生成するインテリジェントな文書データ生成ソリューションを設計した。トレーニング時にはより大きなサイズ変更閾値を設定し、推論時には画像を比例的に拡大することで、より包括的な視覚的特徴を取得した。
トレーニングの最適化このアプローチでは、さまざまな文書理解データソース（一般的なVQA、OCR、チャート、数学的推論など）を組み合わせ、異なるデータセット間の量的差異を均衡させるためのデータマッチングメカニズムを設定します。OCR後処理支援に基づき、OCRによって認識されたテキスト結果を事前情報として使用することで、明確なテキストを含む画像の理解能力を向上させます。

PP-DocBeeプロジェクトの住所

GitHubリポジトリ：https://github.com/PaddlePaddle/PaddleMIX/tree/develop/deploy/ppdocbee
オンラインでデモを体験してください：https://aistudio.baidu.com/application/detail/60135

PP-DocBeeの応用事例

ファイナンス財務諸表、請求書、その他の文書を分析して重要なデータを抽出し、財務分析や監査を支援します。
法分野：契約書、規則、その他の文書を処理し、条項を迅速に特定し、法的コンプライアンスレビューをサポートします。
学術分野文献検索や研究分析を支援するために、論文からテキスト情報と図表情報を抽出します。
エンタープライズ文書管理内部文書の内容を抽出し、構造化することで、文書の検索および管理プロセスを最適化する。
教育教科書やテスト問題を分析し、教材開発や個別学習の支援に役立てる。