InfiMM-WebMath-40B - ByteDanceと中国科学院がオープンソース化した、大規模なマルチモーダルデータセット。

InfiMM-WebMath-40Bとは何ですか？

InfiMM-WebMath-40Bは、ByteDanceと中国科学院が共同でオープンソース化した大規模なマルチモーダルデータセットです。数学分野におけるマルチモーダルモデルのテキストと画像の混合推論能力の向上を目指しています。Common Crawlから抽出されたこのデータセットは、厳密なスクリーニング、クリーニング、アノテーションを経ており、2400万のウェブページ、8500万の画像URL、400億のテキストタグを含み、数学と科学に関する豊富なコンテンツを網羅しています。InfiMM-WebMath-40Bは、MathVerseやWe-Mathなどのベンチマークテストで優れた結果を達成し、モデルの数学的推論能力を大幅に向上させます。

InfiMM-WebMath-40Bの主な機能

• 数学的推論能力を向上させるInfiMM-WebMath-40Bには、テキスト、数式、記号、画像など、数学と科学に関する豊富なコンテンツが含まれており、MLLM（数学学習者）が数学を学び、数学的推論能力を向上させるのに役立ちます。
• マルチモーダル情報の理解このデータセットはマルチモーダルであり、テキストデータと画像データの両方を含んでいるため、MLLM（機械学習モデル）がテキスト情報と画像情報を組み合わせて推論する方法を学習し、複雑な数学的概念や問題をより深く理解するのに役立ちます。
• P2はモデルの応用を促進するInfiMM-WebMath-40Bに基づいて事前学習されたMLLMは、数学問題集、数学学習ツール、数学論文の読解など、数学関連のアプリケーションにより適している。

InfiMM-WebMath-40Bの技術的原理

• データソースCommon Crawlを基に構築されており、Common Crawlはインターネット上の公開されているウェブページコンテンツを含む大規模データベースです。
• データフィルタリングキーワードの一致に基づいて、数学や数式などの特定の用語を含むページを保持します。各ドキュメントに一定数のLaTeX記号が含まれていることなど、しきい値条件を設定します。言語フィルタリングにはfastTextを使用し、中国語と英語のコンテンツのみを保持します。
• データ抽出Trafilaturaライブラリを使用してテキストコンテンツを抽出します。Webページ上の画像URLを分析して、数学コンテンツに関連する画像を抽出します。
• データクリーニング重複排除は、MinHashなどの技術を用いて行われます。ルールベースのフィルタリング手法も採用されており、例えば「lorem ipsum」を含む短い文書の削除、不適切なコンテンツを含む文書の除外、Unicodeエラーを含む文書の除外などが含まれます。
• データラベル付け数学的内容の採点にはLLaMA3-70B-Instructモデルが使用され、高精度フィルタリングにはfastText分類器が使用された。

InfiMM-WebMath-40Bプロジェクトのアドレス

• ハギングフェイスモデルライブラリ：https://huggingface.co/datasets/Infi-MM/InfiMM-WebMath-40B
• arXiv技術論文：https://arxiv.org/pdf/2409.12568

InfiMM-WebMath-40Bの応用シナリオ

• 数学の問題集と評価ツール開発者は、MLLM（機械学習モデル）を訓練して、数学の問題を自動的に生成し、生徒の解答を評価し、フィードバックを提供するようにすることで、インテリジェントな数学問題バンクと評価ツールを構築します。
• 数学学習ツールとプラットフォームMLLM（数学学習者）が数学の概念や公式をよりよく理解できるよう支援し、個別の学習提案の提供、学生の質問への回答、数学の問題解決の支援など、よりスマートな数学学習ツールやプラットフォームを開発する。
• 数学論文の読み方と理解MLLM（数学言語モデル）は、数学論文を自動的に要約、翻訳、解釈できるツールを開発することで、数学論文の理解を深めます。
• 数学研究これは、数学モデルの訓練、数学実験の実施、数学データの分析など、数学研究のためのデータ支援を提供する。
• その他の科学分野InfiMM-WebMath-40Bには、物理学、化学、生物学などの科学関連コンテンツが含まれており、MLLM（数学学習者）が科学的概念、公式、画像などを理解できるように訓練し、科学研究や応用を支援することを目的としています。