AB
AB
AiBoss

すべてのカテゴリ

project

LIMO - 上海交通大学が開発した非常に効率的な推論手法で、わずか817個の訓練サンプルしか必要としない。

LIMO（Less Is More for Reasoning）は、上海交通大学の研究チームが提案した効率的な推論手法です。非常に少数の高品質な訓練サンプルを用いて、大規模言語モデル（LLM）の複雑な推論能力を活性化します。その中核となる仮定は…

リムジンとは何ですか？

LIMO（Less Is More for Reasoning）は、上海交通大学の研究チームが提案した効率的な推論手法です。この手法は、ごく少数の高品質な訓練サンプルを用いて、大規模言語モデル（LLM）の複雑な推論能力を活性化します。その核心となる前提は、少数の綿密に設計された訓練サンプルを用いて事前学習で獲得した豊富な知識ベースを持つモデルでは、複雑な推論能力を効果的に活性化できるというものです。LIMOは、わずか817個の訓練サンプルを用いて、複数の数学的推論ベンチマークにおいて顕著な性能向上を実現しています。

LIMOの主な機能

  • 効率的な推論活性化LIMOは、厳選された817個のトレーニングサンプルのみを使用しながら、複数の数学的推論ベンチマークにおいて大幅な性能向上を達成しました。AIMEベンチマークでは57.1%、MATHベンチマークでは94.8%の精度を達成し、それぞれ従来モデルと比較して50.6%と35.6%の向上を示しました。
  • 優れた一般化能力LIMOは10種類のベンチマークにおいて、分布外データに対する優れた汎化性能を示し、平均精度72.8%を達成しました。これは、100倍のデータ量で学習させたモデルと比較して、絶対的な性能向上率が40.5%であることを示しています。
  • 「少ないほど良い」という仮説を検証するLIMOの研究では、「少ないほど良い推論仮説」が提唱された。これは、基本モデルにおいて、事前学習段階でドメイン知識が完全に符号化されている場合、最小限ではあるが精密に調整された一連の認知プロセスを通して、複雑な推論能力を発揮できるというものである。
  • データ効率LIMOは、従来の手法で必要とされた訓練データのわずか1%しか使用せず、複雑な推論タスクには大量の訓練データが必要であるという従来の常識に挑戦している。

LIMOの技術原理

  • 基本的な前提LIMOの中核となる前提は「少ないほど豊か」という仮説です。基本モデルでは、ドメイン知識が事前学習で完全に符号化されている場合、最小限でありながら精緻に組織化された認知プロセスの例を通して、その知識が出現します。この仮説は、複雑な推論を引き出すための閾値は、対象となる推論タスクの複雑さによって本質的に制限されるのではなく、2つの主要な要因によって決定されると提唱しています。
    • 事前学習中にモデルによってエンコードされた知識ベースの完全性最新の基礎モデルは、事前学習の段階で前例のない量の数学的コンテンツを統合します。例えば、Llama 2とLlama 3は、それぞれ数学的推論のための学習データとして1.8Tトークンと3.7Tトークンを使用しています。
    • 訓練された例の有効性これらの例は「認知テンプレート」として機能し、モデルが既存の知識ベースを効果的に活用して複雑な推論タスクを解決する方法を示している。
  • 問題定義LIMOは、検証可能な答えを持つ推論タスクに焦点を当て、答えと推論の連鎖を生成することを目標としています。
  • 質問選択複雑な推論過程、多様な思考プロセス、そして知識の統合を促進するような、やりがいのある問題を選びましょう。
  • 推論チェーンの構築公式の解答を収集し、人間とAIの専門家が作成した解答で補完し、最先端の推論モデルに基づいて多様な解答を生成する。
  • トレーニングプロトコル: LIMOデータセット上で、フルパラメータファインチューニング、DeepSpeed Zero-3最適化、FlashAttention-2を使用した教師ありファインチューニングによる大規模言語モデルのファインチューニング。

LIMOプロジェクトの住所

リムジン利用シナリオ

  • 教育LIMOは、生徒の論理的思考力と複雑な問題解決能力を高めます。少数の質の高い推論トレーニングサンプルを通して、LIMOは生徒が複雑な数学的・論理的推論プロセスをより深く理解し、習得できるよう支援します。
  • 科学研究科学研究において、LIMOは複雑な問題のモデリングと分析に利用できます。数学や物理学の分野では、LIMOは研究者が複雑な理論モデルを迅速に検証し、最適化するのに役立ちます。
  • 産業用途LIMOは、生産プロセスと品質管理の最適化に活用できます。LIMOは、企業が生産における複雑な問題を迅速に特定・解決し、生産効率と製品品質を向上させるのに役立ちます。
  • 医療分野LIMOは、診断および治療計画の最適化を支援するために使用できます。少数の質の高い医療事例を通して、LIMOは医師が複雑な疾患パターンを迅速に特定し、より正確な診断推奨事項を提供するのに役立ちます。
戻る