GLM-OCR - Zhipu Open Sourceによる軽量マルチモーダルOCRモデル

• 一般的なテキスト認識写真、スクリーンショット、スキャンした文書、PDFに対応し、印刷されたテキスト、手書きのテキスト、印鑑、コードなどの特殊なテキストも認識します。
• 複雑なテーブル解析結合セルや多階層ヘッダーなどの構造を正確に理解し、二次的なテーブル作成を必要とせずに直接HTMLコードを出力します。
• 情報構造抽出カード、領収書、フォームから重要な項目をインテリジェントに抽出し、標準的なJSON形式で出力し、ビジネスシステムと連携します。
• 数式とコードの認識数式やプログラムコードなどの専門的・技術的な内容を正確に認識することをサポートします。
• 多言語および混合言語サポート縦書きテキストや多言語混在テキストなど、複雑なレイアウトの処理をサポートします。
• バッチ文書処理バッチ文書認識をサポートし、適切にフォーマットされたデータを出力するため、RAGのための高品質なデータ基盤を提供する。

GLM-OCRの技術的原理

• 全体的なアーキテクチャGLM-OCRは、GLM-Vシリーズから受け継いだ古典的な「エンコーダー・デコーダー」アーキテクチャ設計を採用しています。このアーキテクチャは、視覚側のCogViTビジュアルエンコーダー（4億パラメータ規模）、異種モーダル情報の融合を担う軽量接続層、そしてバックエンドのGLM-0.5B言語デコーダーという3つのコアモジュールで構成されています。
• 視覚的符号化ビジュアルエンコーダーは、Zhipuが開発したCogViTアーキテクチャを採用し、数十億組のテキストと画像のペアを用いた大規模な事前学習のためにCLIP対照学習戦略を導入しています。これにより、モデルは強力なテキスト検出およびレイアウト意味理解能力を備え、複雑な文書における複数列レイアウト、テキストと画像の混在、回転したテキストなどの課題に効果的に対応できます。
• 異種モダリティ融合視覚情報と言語情報を効率的に融合するために、GLM-OCRは軽量かつ効率的な接続層構造を採用しています。SwiGLU活性化メカニズムを統合し、4倍ダウンサンプリング戦略を導入することで、重要な視覚トークンを正確にフィルタリングして保持し、高密度の視覚意味情報を効率的に圧縮してバックエンドの言語デコーダに送信し、高精度のOCR認識出力を実現します。
• トレーニングの最適化GLM-OCRは、OCRモデルの学習にマルチトークン予測損失（MTP）を導入した先駆者です。複数の将来のトークンを同時に予測することで、損失信号の密度を高め、モデルの学習効率を大幅に向上させます。継続的かつ安定したタスク全体にわたる強化学習を通じて、複雑な文書シナリオにおけるモデルの全体的な認識精度とドメイン横断的な汎化能力をさらに最適化します。
• 推論プロセスシステムレベルでは、GLM-OCRは「レイアウト解析→並列認識」という2段階の技術パラダイムを採用しています。PP-DocLayout-V3に基づき、文書レイアウト解析を実行してテキスト、表、画像などの領域を正確に特定し、OCR認識を並列実行することで、多様なレイアウトと複雑な構造を持つ文書においても、安定した高品質かつ効率的な解析結果を実現します。

GLM-OCRプロジェクトのアドレス