スタンフォード大学のCS336コース「ゼロから始める言語モデリング」

スタンフォード大学のCS336コース「ゼロから始める言語モデリング」は、言語モデルの開発に焦点を当てたコースです。ディープラーニングこのコースでは、データ収集やモデル構築からトレーニング、評価に至るまで、実践的な演習を通して言語モデル開発プロセス全体を包括的に理解することができます。オペレーティングシステムのコースで学んだ内容を取り入れ、トークナイザー、トランスフォーマーアーキテクチャ、オプティマイザーといった主要コンポーネントの実装を含め、完全な言語モデルをゼロから構築することが求められます。

このコースでは、受講生は高度なPythonプログラミングスキルを身につけていることが求められます。ディープラーニングシステム最適化の経験、線形代数、確率統計、機械学習このコースでは基礎知識を網羅的に学習します。課題は包括的で、基本的なモデル学習からシステム最適化、データ処理、モデルアライメントまで、さまざまな側面を網羅しています。また、学生を支援するためのGPUコンピューティングリソースに関する推奨事項も提供します。高効率実践的な課題に取り組みます。このコースを通して、学生は言語モデルの内部構造を深く理解し、大規模なトレーニングや実世界のアプリケーションにおける課題に対応するために、言語モデルを最適化する方法を学びます。

• コース内容スタンフォード大学のCS336コースは、データ収集とクリーニング、Transformerモデルの構築、モデルのトレーニング、評価など、言語モデル開発プロセスに関する包括的な理解を学生に提供することを目的としています。オペレーティングシステム関連のコースにヒントを得たこのコースでは、学生はゼロから完全な言語モデルを構築する必要があります。
• コースの目標実践的な演習を通して、学生は言語モデルの様々な構成要素を深く理解し、モデルを最適化してパフォーマンスを向上させる方法を学びます。高効率料金とパフォーマンス。

• 前提知識：
  • Pythonの習熟度ほとんどの課題ではPythonの使用が求められるため、学生は高度なPythonプログラミングスキルを身につける必要があります。
  • ディープラーニングシステム最適化の経験PyTorchと、メモリ階層などの基本的なシステム概念に関する知識が必要です。
  • 数学的基礎学生は線形代数、確率論、統計学の基礎知識を習得する必要がある。
  • 機械学習ベース知っておく必要がある機械学習そしてディープラーニング基本的な概念。
  • 宿題1Transformer言語モデルの基本コンポーネント（単語分割器、モデルアーキテクチャ、オプティマイザ）を実装し、最小限の言語モデルをトレーニングします。
  • 宿題２高度なツールを使用してモデルのパフォーマンス分析と最適化を行い、FlashAttention2のTritonバージョンを実装し、分散トレーニングコードを構築する。
  • 宿題３Transformerの各コンポーネントを理解し、トレーニングAPIを通じてモデルを適合させることでパターンを拡張します。
  • 宿題4元のCommon Crawlデータは、事前学習に使用できるデータに変換され、その後、モデルのパフォーマンスを向上させるためにフィルタリングと重複排除が行われます。
  • 宿題5教師ありファインチューニングと強化学習を適用して言語モデルを訓練し、数学的問題を解決します。また、必要に応じて安全なアライメント手法を実装します。

  コースウェブサイトアドレス

  • 公式サイトアドレス：https://stanford-cs336.github.io/spring2025/
  • GPUコンピューティングリソース学生はクラウドサービスプロバイダーのGPUリソースを使用して課題を完了できます。このコースではいくつかの...推薦するクラウドサービスの選択肢。
  • 学術的誠実性学生はAIこのツールは、低レベルのプログラミング問題や高度な概念的問題に関する相談用であり、直接使用は禁止されています。AI道具は問題を解決する。
  • 課題提出課題はすべてGradescopeを通して提出してください。提出期限は最大3日間まで延長可能です。

  キミが独自開発した全く新しいツール、「キミの新しいPPTアシスタント」。無料AIPPTジェネレーター

  ファーウェイがHarmonyOSを発表知的体フレームワークに関するホワイトペーパー（PDFファイル）