Mini-Monkey - 華中科技大学と華南理工大学が共同開発したマルチモーダルAIモデル

ミニモンキーとは何ですか？

Mini-Monkeyは、華中科技大学と華南理工大学が共同開発した軽量マルチモーダルAIモデルです。マルチスケール適応型セグメンテーション戦略（MSAC）とスケール圧縮メカニズム（SCM）を採用することで、従来の画像セグメンテーションで生じるギザギザのエッジを効果的に解消し、高解像度画像や文書理解タスクにおける性能を向上させています。Mini-Monkeyは複数のベンチマークテストで優れた結果を達成しており、マルチモーダル理解と文書インテリジェンスにおける高い潜在能力を示しています。

ミニモンキーの特徴

• マルチスケール適応型セグメンテーション戦略（MSAC）異なるスケールで表現を生成することで、モデルは分割されていないオブジェクトを選択できるようになり、それによって小型または不規則な形状のオブジェクトを認識する能力が向上する。
• スケール圧縮機構（SCM）詳細層の視覚マーカーに焦点を当てることで重要な視覚的特徴を抽出し、計算オーバーヘッドを削減する、トレーニング不要かつパラメータ不要のメカニズム。
• 高解像度画像処理高解像度画像の処理能力を最適化し、画像分割によって引き起こされる意味的な不整合の問題を軽減します。
• 文書理解タスク文書理解において非常に優れた性能を発揮し、文書内の小さな文字や不規則な形状を処理する際に、従来のセグメンテーション手法に伴う問題を効果的に回避します。

ミニモンキーの技術原理

• マルチスケール適応型セグメンテーション戦略（MSAC）：この戦略では、画像を異なるスケールのグリッドに分割し、グリッドのアスペクト比に応じてそれらを重ね合わせることで、異なるスケールの特徴を提供します。詳細レイヤーは高解像度の画像詳細を提供し、適応レイヤーは詳細レイヤーによって生成されたアスペクト比に基づいて同じオブジェクトの繰り返しカットを回避することで、異なるレイヤー間の意味的な一貫性を確保します。
• スケール圧縮機構（SCM）：SCMは、主要な視覚的特徴を識別および抽出するためのアテンションマップを生成することにより、MSACの計算オーバーヘッドを削減するために使用されます。視覚トークンは、追加のトレーニングやパラメータを必要とせず、事前学習済みの大規模言語モデル（LLM）の最初の数層を使用して選択されます。
• 注意重み配分：SCMでは、重要度の異なる視覚トークンは、高い注意重みと低い注意重みを割り当てることによって区別されます。注目度が低いトークンは除外され、重要なトークンは後続の処理のために保持されます。
• 共有LLMレイヤー：SCMはLLMブロックレイヤーを使用して、異なるビジュアルトークンを処理するための計算を共有することで、モデルの効率とパフォーマンスを向上させます。

ミニモンキーのプロジェクトアドレス

ミニモンキーのアプリケーションシナリオ

• 文書の理解文書画像を処理する際、古文書や手書きのメモといった複雑な文書も含め、文書内のテキスト内容を正確に識別し、理解することができる。
• 画像認識医療画像解析や衛星画像解析など、画像中の小型または不規則な形状の物体を識別する必要がある場面では、Mini-Monkeyはより正確な認識結果を提供できます。
• マルチモーダル情報処理画像とテキスト情報を組み合わせて総合的に分析するシナリオ。例えば、ソーシャルメディアのコンテンツ分析や、広告画像とコピーの一致度評価など。
• コンテンツ生成画像コンテンツに基づいて説明文やストーリーを生成する必要があるアプリケーションでは、Mini-Monkeyはより豊富で正確なテキストコンテンツを提供できます。
• 意思決定支援システムセキュリティ監視や交通管理など、大量の視覚データを迅速に処理・分析する必要のある意思決定支援システムにおいて。