ProX - 大規模言語モデル向け事前学習済みデータの品質向上フレームワーク

ProXとは何ですか？

ProX（Programming Every Example）は、大規模言語モデルの事前学習データの品質向上を目的としたフレームワークです。従来の、人間の専門家がルールを策定する手法とは異なり、ProXはデータクリーニングをプログラミング問題として扱い、文字列の正規化やノイズ行の除去といった細かな処理をモデルが自動的に実行できるようにします。小規模なモデル（例えば、パラメータ数が0.3B）でも、人間の専門家と同等のデータ処理能力を発揮できます。実験結果によると、ProXで処理されたデータをモデルの事前学習に使用すると、様々な下流タスクにおいて2%以上のパフォーマンス向上を実現できることが示されています。ProXのもう一つの大きな利点は、様々なモデルサイズや事前学習コーパスに幅広く適用できることです。例えば、数学などの分野における継続的な事前学習にも適用でき、分野固有の設計を必要とせずにモデルのパフォーマンスを大幅に向上させることができます。ProXは学習時のFLOPsを削減し、大規模言語モデルの効率的な事前学習への有望な道筋を示します。

ProXの主な機能

• データ精緻化： ProXは、独自の生成および実行プロセスに基づいて大規模データセットを精緻化し、大規模言語モデルの事前学習に使用するためのデータ品質を向上させます。
• 自動処理: 人間の専門家の介入を必要とせず、各データサンプルをきめ細かく自動的にクリーニングおよび改善します。
• パフォーマンスの向上： ProXによって処理されたデータで事前学習されたモデルは、複数の下流タスクにおいて2%以上の性能向上を示した。
• ドメインの柔軟性： これは数学を含む様々な分野に適用可能であり、特定の分野設計を必要とせずに精度を向上させる。
• 資源の節約： 大規模な言語モデルに基づくデータ合成手法と比較して、ProXは結果を維持しながら計算リソースの要求を大幅に削減します。

ProXの技術原則

• モデルの適応性： ProXはまず、シードデータを用いて小規模で基本的な言語モデルを微調整し、データ精製タスクに適応させる。
• プログラム生成: 改良されたモデルは、事前学習コーパス内の各サンプルに対してデータ処理手順を生成します。この手順には、フィルタリング、文字列の標準化、ノイズ除去などの操作が含まれます。
• プログラムの実行: 生成されたプログラムは、事前に定義された実行エンジンによって実行され、事前学習に適した洗練されたコーパスが生成される。
• 2段階精製： ProXは、文書レベルのプログラミングとブロックレベルのプログラミングという2つのフェーズで構成されており、それぞれデータを粗い粒度レベルと細かい粒度レベルに細分化します。
• 関数呼び出し: ProXは、柔軟な関数呼び出しによってデータ品質を向上させ、特定の変換プロセスやクリーニングプロセスを統合します。
• 計算効率： ProXは、追加の計算リソースを投入して事前学習コーパスを改良し、事前学習に必要な計算量（FLOP）を削減することで、より効率的な事前学習を実現する方法を示しています。

ProXプロジェクトの住所

• プロジェクト公式サイト：gair-nlp.github.io/ProX
• GitHubリポジトリ：https://github.com/GAIR-NLP/ProX
• ハギングフェイスモデルライブラリ：https://huggingface.co/gair-prox
• arXiv技術論文：https://arxiv.org/pdf/2409.17115

ProXの応用事例

• 大規模言語モデルの事前学習ProXは、大量の高品質テキストデータで事前学習された大規模言語モデルのデータセット品質を向上させることができます。
• データクリーニングと前処理データマイニング、自然言語処理、その他の機械学習タスクにおいて、ProXはデータクリーニングと前処理の手順を自動化し、人的介入を削減します。
• ドメイン適応トレーニング医療、法律、金融などの特定の分野におけるアプリケーション向けに、ProXはデータセットを最適化し、専門用語や文脈により適したものにすることができます。
• 継続的な学習継続的学習や漸進的学習を伴うシナリオでは、ProXはデータを継続的に改良することで、モデルが新しい情報や変化に適応できるよう支援します。
• データ合成ProXは、特にデータが不足している分野において、既存のデータセットを強化するための高品質な合成データを生成できます。