DeepSeek-Prover-V1.5 - 70億個のパラメータを持つオープンソースの数理モデル

DeepSeek-Prover-V1.5とは何ですか？

DeepSeek-Prover-V1.5は、DeepSeekチームが開発したオープンソースの数理モデルで、70億ものパラメータを誇ります。強化学習（RLPAF）とモンテカルロ木探索（特にRMaxTSバリアント）を組み合わせることで、数学定理の証明における効率と精度を大幅に向上させています。高校レベルから大学レベルの数学問題において、DeepSeek-Prover-V1.5はLean 4プラットフォーム上の他のすべてのオープンソースモデルを凌駕し、新たな最先端（SOTA）基準を確立しました。既存の証明を検証するだけでなく、新たな数学的知識の創造にも貢献し、数学研究を「ビッグ数学」の時代へと押し上げる可能性を秘めています。

DeepSeek-Prover-V1.5の主な機能

• 強化学習の最適化このモデルは、証明支援フィードバックに基づく強化学習（RLPAF）を採用しており、リーン証明器の検証結果を報酬信号として使用して、証明生成プロセスを最適化します。
• モンテカルロツリー検索証明探索における報酬の疎性問題を解決し、モデルの探索的挙動を強化するために、モンテカルロ木探索の変種であるRMaxTSアルゴリズムを導入する。
• 発電能力を証明するこのモデルは、高校レベルおよび大学レベルの数学定理の証明を生成することができ、証明の成功率を大幅に向上させる。
• 事前学習と微調整高品質な数学データとコードデータを用いた事前学習、およびLean 4コード補完データセットを用いた教師ありファインチューニングにより、モデルの形式的証明能力が向上する。
• 自然言語と形式的証明の整合DeepSeek-Coder V2を使用して、自然言語による思考の流れをLean 4コードと並べて注釈付けし、自然言語推論と形式的な定理証明を組み合わせる。

DeepSeek-Prover-V1.5の技術的原理

• 事前トレーニング：DeepSeek-Prover-V1.5は、数学データとコードデータを用いたさらなる事前学習を実施し、Lean、Isabelle、Metamathなどの形式的な数学言語に焦点を当てることで、形式的な定理証明と数学的推論におけるモデルの能力を向上させました。
• 監視付き微調整：自然言語と形式的証明の一貫性に対するモデルの理解を向上させるために、リーン4コードの横に自然言語による思考連鎖の注釈を追加したり、証明コードに中間的なポリシー状態情報を挿入したりするなど、特定のデータ拡張技術が使用されています。
• 強化学習：GRPOアルゴリズムは、証明支援システムからのフィードバックに基づく強化学習に用いられる。リーン証明器の検証結果は報酬信号として使用され、モデルをさらに最適化し、形式検証システムの要件により適合させる。
• モンテカルロツリー検索（MCTS）：本稿では、不完全な証明を切り捨てと再開のメカニズムによって一連のツリーノードに分解し、これらのノードを使用して証明生成プロセスを継続する、新しいツリー探索手法を提案する。
• 探検に対する内在的な報酬：DeepSeek-Prover-V1.5は、RMaxTSアルゴリズムを用いて、内在的な報酬によって探索行動を促進し、モデルが多様な証明経路を生成するように促し、証明探索における報酬の疎性の問題を解決します。

DeepSeek-Prover-V1.5のプロジェクトアドレス

• 製品ウェブサイト：deepseek.com
• GitHubリポジトリ：https://github.com/deepseek-ai/DeepSeek-Prover-V1.5
• arXiv技術論文：https://arxiv.org/pdf/2408.08152

DeepSeek-Prover-V1.5 の使い方

• 環境設定：Lean Proof Helperなどの必要なソフトウェアと依存関係、およびその他のプログラミング言語環境がすべてインストールされていることを確認してください。
• モデルを取得する：DeepSeek-Prover-V1.5にアクセスGitHubリポジトリモデルのコードベースをクローンするか、ローカルマシンにダウンロードしてください。
• モデル設置：付属のインストールガイドに従ってモデルをインストールする場合、コードのコンパイル、Pythonライブラリのインストール、その他の依存関係のインストールなどが必要になる場合があります。
• データ準備：準備または生成する必要のある数学的問題や定理の説明は、モデルが理解できるように特定の形式で記述する必要があります。
• 対話型インターフェース：コマンドラインインターフェースまたはグラフィカルユーザーインターフェース（提供されている場合）を使用してモデルと対話し、数学の問題や定理を入力します。
• 証明生成：モデルを実行し、入力された数式を処理させてください。モデルは証明を生成するか、証明の手順を提示しようとします。

DeepSeek-Prover-V1.5の応用シナリオ

• 数学研究：これは、数学者や研究者が新しい数学理論や証明を探求する際に、複雑な数学的証明を迅速に検証および生成するのに役立ちます。
• 教育：高等教育においては、数学の定理の証明過程を学生が学び理解し、数学的推論能力を向上させるのに役立つ。教育ツールとして、練習問題に対する証明手順を自動的に生成し、学生に学習の参考資料を提供する。
• 自動定理証明：形式検証の分野において、DeepSeek-Prover-V1.5は、数学ソフトウェアおよびシステムの正当性を自動的に証明するために使用できます。
• ソフトウェア開発：これはソフトウェア開発プロセスに組み込むことができ、開発者がアルゴリズムの数学的基礎を理解し、検証するのに役立つ。