MiniMindは、2580万バイトの小型モデルを2時間で学習できるオープンソースのAIモデル学習ツールです。

MiniMindとは何ですか？

MiniMindは、オープンソースの超小型言語モデルプロジェクトで、個々の開発者が極めて低コストで独自の言語モデルをゼロからトレーニングするのに役立ちます。MiniMindは軽量な使用を想定して設計されており、最小バージョンではわずか2580万個のパラメータしか必要とせず、GPT-3の7000分の1のサイズであるため、一般的な個人用GPUでの高速トレーニングに適しています。MiniMindは、事前トレーニング、教師ありファインチューニング、LoRAファインチューニング、強化学習、モデル蒸留など、完全なトレーニングワークフローコードを提供します。また、マルチモーダル機能（視覚言語モデルMiniMind-Vなど）をサポートし、主要なフレームワーク（例：...）と互換性があります。transformersそしてpeftMiniMindは、オープンソースの高品質なデータセットとカスタムトークナイザーを備えているため、LLM初心者でもすぐに学習を始めるのに適しています。

MiniMindの主な機能

参入障壁が極めて低いモデル研修：
- 低コストGPUのレンタル料金はわずか3人民元です（NVIDIA 3090の場合）。
- クイックトレーニング基礎から始めるトレーニングはわずか2時間で完了します。
- 軽量設計最小モデルはパラメータ数がわずか2580万個なので、一般的なデバイスでの動作に適しています。
完全オープンソース事前学習、教師ありファインチューニング（SFT）、LoRAファインチューニング、直接選好最適化（DPO）、モデル蒸留など、完全なトレーニングコードを提供します。すべてのコアアルゴリズムはサードパーティのラッパーに依存せず、PyTorchでネイティブに実装されているため、学習や拡張が容易です。
複数のトレーニング手法に対応：
- ハイブリッドエキスパート（MoE）アーキテクチャ小規模モデルの学習効率を向上させるために、コンピューティングリソースを動的に割り当てる。
- 直接選好最適化（DPO）複雑な報酬モデルは必要ありません。モデルの出力は人間の好みに基づいて最適化されます。
- マルチモーダル拡張画像対話や画像テキスト生成を可能にするため、視覚的マルチモーダル（MiniMind-V）をサポートします。

MiniMindの技術原理

トランスフォーマーアーキテクチャこれは、GPTシリーズと同様のTransformerベースのデコーダー専用アーキテクチャです。モデルのパフォーマンス向上のため、事前正規化とRMSnorm正規化手法が用いられています。また、学習効率を高めるため、ReLUの代わりにSwiglu活性化関数が採用されています。
ハイブリッドエキスパート（MoE）テクノロジーフィードフォワードネットワーク（FFN）にハイブリッドエキスパートモジュールを導入することで、異なる「エキスパート」に計算リソースを動的に割り当てることができます。共有と分離の技術に基づき、これにより小規模モデルの学習能力と効率が向上します。
軽量トレーニングプロセス：
- 事前トレーニング言語知識を蓄積するために、教師なし学習には、クリーンで高品質なテキストデータを使用する。
- 監視型微調整（SFT）対話テンプレートに基づいてモデルを微調整し、チャットシナリオに適応させる。
- LoRAの微調整低ランク分解に基づいて少数のパラメータを更新することで、特定のドメインやタスクへの迅速な適応を可能にする。
- 直接選好最適化（DPO）ラベル付きデータと人間の嗜好に基づいて、モデルの出力品質を最適化する。
- モデル蒸留: 大規模モデルの出力を模倣することで、小規模モデルのパフォーマンスをさらに向上させる。

MiniMindのプロジェクトアドレス

プロジェクト公式サイト：https://jingyaogong.github.io/minimind/
GitHubリポジトリ：https://github.com/jingyaogong/minimind
ハギングフェイスモデルライブラリ：https://huggingface.co/collections/jingyaogong/minimind

MiniMindのアプリケーションシナリオ

AI初心者および学生AIに興味のある学生や初心者が、卒業制作を完成させたり、学術研究に参加したりするのに適しています。
個人開発者および独立系開発者リソースが限られている個人開発者にとって、このツールは実験的かつ革新的なプロジェクトに適したAIアプリケーションの迅速な開発と展開を可能にします。
垂直統合型専門家医学、法律、教育などの分野の専門家は、医療相談アシスタント、法律相談ツール、教育指導システムなどのツールを開発することができる。
小規模チームと起業家限られたリソースしか持たない小規模チームや起業家が、最小限の実行可能な製品（MVP）を開発したり、新しいビジネスの方向性を模索したりする場合に適しています。
愛好家とクリエイターテクノロジーに興味はあるものの、その分野での確かな知識がない愛好家が、インテリジェントなチャットボットを開発したり、クリエイティブなコンテンツを制作したり、マルチモーダルなアプリケーションを探求したりします。