LEOPARD - シアトルのテンセントAIラボが開発した視覚言語モデル - AiBoss

LEOPARDとは何ですか？

シアトルのTencent AI Labが開発したLEOPARDは、大量のテキストを含む複数画像タスクの理解と処理を目的としたビジュアル言語モデルです。LEOPARDは、主に2つの技術革新に基づいています。1つ目は、テキストが豊富な複数画像シナリオ向けに最適化された、約100万行の高品質なマルチモーダル指示データセット。2つ目は、ビジュアルシーケンス長の割り当てを動的に最適化する、適応型高解像度複数画像エンコーディングモジュールの開発です。LEOPARDは、複数のベンチマークテストで優れた性能を発揮し、単一画像の内容理解と複数のビジュアル入力にわたる推論を必要とする複雑なタスクにおいて卓越した能力を発揮します。

LEOPARDの主な機能

テキストが豊富な複数画像の処理タスクこれは、スライド、スキャンされた文書、ウェブページのスクリーンショットなど、大量のテキスト情報を含む複数画像シナリオを理解し、処理するために使用されます。
クロスイメージ推論このモデルは、単一の画像の内容を理解し、論理的な推論を行い、複数の画像間の関係性を確立することができる。
高解像度画像処理適応型高解像度マルチイメージ符号化モジュールに基づいており、テキストやディテールの鮮明さを維持しながら、高解像度画像を効率的に処理できます。
動的なビジュアルシーケンス長最適化視覚シーケンスの長さは、入力画像の元の縦横比と解像度に基づいて動的に最適化され、画像の詳細度とモデル処理能力のバランスが取られます。
マルチモーダルな指示チューニング大規模なマルチモーダル指示を使用してデータセットを最適化し、複雑な視覚言語タスクの最適化を可能にする。

LEOPARDの技術原理

マルチモーダル大規模言語モデル（MLLM）MLLMアーキテクチャに基づき、視覚エンコーダ、視覚言語コネクタ、および言語モデルを統合して、視覚情報とテキスト情報を処理します。
データセットの構築我々は、テキストが豊富で複数の画像を含むシーンに関する約100万件の指示を収録したLEOPARD-INSTRUCTデータセットを構築し、モデルのトレーニングと最適化に利用した。
適応型高解像度コーディング適応戦略に基づき、視覚的特徴シーケンスは入力画像の特性に応じて動的に調整され、モデルのシーケンス長制限に適合する。
ピクセルシャッフル技術ピクセルシャッフル操作は、長い視覚的特徴シーケンスをロスレスでより短いシーケンスに圧縮するために使用され、モデルがより高解像度の画像を処理しやすくします。
画像セグメンテーション高解像度画像は、独立した処理と詳細の保持のために、複数のサブ画像に分割されます。その後、視覚的特徴はテキスト情報とともに言語モデルに入力されます。

LEOPARDプロジェクトの住所

GitHubリポジトリ：https://github.com/tencent-ailab/Leopard
ハギングフェイスモデルライブラリ：https://huggingface.co/datasets/wyu1/Leopard-Instruct
arXiv技術論文：https://arxiv.org/pdf/2410.01744

LEOPARDの応用シナリオ

自動文書理解契約書、報告書、学術論文などの複数ページにわたる文書を処理し、重要な情報やデータを自動的に抽出することができます。
教育と学術研究eラーニング教材や学術プレゼンテーションなどの教育補助ツールは、双方向の学習体験を提供する。
ビジネスインテリジェンスとデータ分析市場動向予測と意思決定支援のために、ビジネスチャートや表を分析する。
ウェブページコンテンツ分析検索エンジン最適化（SEO）やコンテンツ推薦システムで使用するために、ウェブページの内容を理解して抽出します。
カスタマーサービスとサポートユーザーがアップロードした画像やテキストの分析に基づき、より正確な顧客サービスと技術サポートを提供します。