project
dots.llm1 - Xiaohongshu Hi Labがオープンソース化した大規模テキストモデル
dots.llm1は、Xiaohongshu氏のhi labがオープンソース化した中規模のエキスパート混合モデル（MoE）テキストモデルで、1420億個のパラメータと140億個の活性化パラメータを持つ。このモデルは、11.2TBの高品質トークンデータでテストされた。
dots.llm1とは何ですか？
dots.llm1は、Xiaohongshuのhi labがオープンソース化した中規模のMixture of Experts（MoE）テキストモデルで、1420億個のパラメータと140億個の活性化パラメータを誇ります。このモデルは、11.2TBの高品質トークンデータで事前学習されており、効率的なInterleaved 1F1Bパイプライン並列処理とGrouped GEMM最適化技術を採用することで、学習効率を大幅に向上させています。綿密に設計されたデータ処理ワークフローと2段階の教師ありファインチューニングに基づき、dots.llm1は一般的な中国語と英語のシナリオ、数学タスク、コーディングタスクで非常に優れた性能を発揮し、Qwen2.5-72Bなどのモデルと比較して高い競争力を示しています。hi labチームは、事前学習段階で1TBのトークンごとにチェックポイントモデルと命令モデルをオープンソース化し、大規模モデルコミュニティに豊富な研究基盤を提供するとともに、大規模モデル技術の開発に貢献しています。
dots.llm1の主な機能
- 多言語テキスト生成高品質な中国語と英語のテキスト生成をサポートしており、文章作成支援やコンテンツ作成など、さまざまな場面に適しています。
- 複雑な指示に従うデータ処理やコード生成といった特定のタスクを完了するために、複雑な命令を理解し実行することができる。
- 知識に関するQ&Aユーザーが必要とする情報を入手できるよう、正確な知識に関する質疑応答サービスを提供します。
- 数学的推論とコード推論数学的計算能力とコード推論能力を備え、数学的問題を解決したり、簡単なコードを作成したりすることができる。
- 複数回の対話複数ターンの対話に対応しており、ユーザーとの自然で流暢なコミュニケーションを可能にし、文脈を理解し、適切な応答を提供します。
dots.llm1の技術的原理
- 専門家混合型アーキテクチャ（MoEアーキテクチャ）dots.llm1は、デコーダのみのトランスフォーマーをベースとしたMoEモデルで、128個のエキスパートのうち6個がアクティブ化されるように構成されています。つまり、各トークンは最大6個のエキスパートをアクティブ化し、合計128個のエキスパートがアクティブ化されます。1420億個のパラメータのうち、順伝播ごとにアクティブ化されるのは140億個のパラメータのみで、ゲーティングメカニズムを使用して計算に最も関連性の高いエキスパートを選択することで、計算効率が向上します。
- 高効率データ処理およびトレーニングフレームワーク事前学習は、Common Crawlから取得した11.2TBの高品質トークンデータと、当社独自のクローラーで収集したWebデータを使用して実施しました。データは、品質を確保するために複数回のクリーニングとフィルタリング処理を受けました。トレーニング効率は、Interleaved 1F1Bパイプライン並列All-to-Allオーバーラップと効率的なGrouped GEMMによって大幅に向上しました。
- 2段階の監視と微調整データセット全体に対して、サンプリングや動的学習率調整などの手法を用いて、2回の基礎学習を実施し、モデルの潜在能力を初期段階で最大限に引き出しました。数学やプログラミングなどの特定の分野については、棄却サンプリングによる微調整を導入し、検証ツールと組み合わせて信頼性の高い重要なサンプルを選択することで、モデルの推論性能をさらに向上させました。
- 学習率スケジューリングとハイパーパラメータ最適化WSD学習率スケジューリング方式に基づき、安定化フェーズでは3e-4の学習率を維持し、10T個のトークンを学習します。アニーリングフェーズでは、2つのフェーズを用いて1.2T個のトークンを学習し、学習率を徐々に下げていきます。学習中は、バッチサイズなどのハイパーパラメータを調整し、学習の安定性を確保し、損失の急激な増加を回避します。
dots.llm1 のプロジェクトアドレス
- GitHubリポジトリ：https://github.com/rednote-hilab/dots.llm1
- ハギングフェイスモデルライブラリ：https://huggingface.co/rednote-hilab
- arXiv技術論文：https://github.com/rednote-hilab/dots.llm1/blob/main/dots1_tech_report.pdf
dots.llm1の応用シナリオ
- コンテンツ作成コピーライティング、ストーリー、ニュース記事などの執筆を支援し、創造的なインスピレーションや執筆のヒントを提供します。
- 教育と学習語学学習、プログラミング教育、質疑応答などで使用され、学習者のスキル向上を支援します。
- 商業オフィスインテリジェントな顧客サービスを構築し、データ分析や市場調査レポートを作成することで、企業の運営を支援します。
- プログラミング開発コードスニペットとコードドキュメントを生成し、デバッグの提案を行い、開発効率を向上させます。
- パーソナルアシスタントスケジュール管理、タスク計画、情報整理を行い、個人の仕事と生活の効率性を向上させます。