gpt-oss - OpenAIのオープンソース推論モデルシリーズ

GPT-OSSとは何ですか？

gpt-ossは、OpenAIがリリースしたオープンソースの推論モデルシリーズで、gpt-oss-120bとgpt-oss-20bの2つのバージョンがあります。gpt-oss-120bは1170億個のパラメータを持ち、そのうち約51億個がアクティベーションパラメータで、80GBのGPU1基で実行できます。gpt-oss-20bは210億個のパラメータを持ち、そのうち約36億個がアクティベーションパラメータで、16GBのRAMを搭載した一般消費者向けデバイス（ノートパソコンや携帯電話など）で実行できます。どちらもMoEアーキテクチャに基づいており、128kのコンテキスト長をサポートし、クローズドソースのo4-miniやo3-miniと同等のパフォーマンスを発揮し、ツール呼び出し、少数の関数呼び出し、連鎖推論、健康に関する質問への回答において優れた性能を示します。これらのモデルはApache 2.0ライセンスの下でオープンソースとして公開されており、商用利用が無料でサポートされ、開発者に強力なローカル推論機能を提供します。

gpt-oss-safeguardはOpenAIの最新のオープンセキュリティ推論モデルは、カスタムセキュリティポリシーをサポートし、gpt-oss-safeguard-120bとgpt-oss-safeguard-20bの2つのバージョンがあります。これらのモデルは、コンテンツの推論、分類、ラベル付けに特化して設計されており、gpt-ossモデルを微調整したものです。どちらのモデルも、推論プロセスを示す完全な「思考チェーン」出力をサポートしています。再学習なしで新しいルールに迅速に適応できるため、高い柔軟性を備え、新たなリスク、複雑なドメイン、サンプルサイズが不十分なシナリオにも適しています。

gpt-ossの主な機能

• ツール呼び出し複雑な問題を解決するために、外部ツール（Web検索やPythonコードインタープリタなど）を呼び出すことをサポートしており、問題解決能力を向上させます。
• 連鎖思考複雑な問題を段階的に分解し、段階的に解決していくため、複数段階の推論タスクに適しています。
• 資源需要が低いgpt-oss-20bは16GBのメモリを搭載したデバイスで動作するため、一般消費者向けデバイスに適しています。一方、gpt-oss-120bは80GBのメモリを搭載したGPUで動作するため、高性能が求められる用途に適しています。
• 迅速な推論推論速度は40～50トークン/秒に達するため、高速応答が求められるシナリオに適しています。
• オープンソースのウェイト完全なモデル重みとコードを提供し、ローカルでの微調整とカスタマイズをサポートし、特定のタスク要件を満たします。
• 推論強度の調整推論強度は低、中、高の3段階に対応しており、必要に応じて調整することで、レイテンシとパフォーマンスのバランスを取ることができます。
• gpt-oss-safeguard：
  • 内容推論と分類開発者から提供された戦略に基づいて、ユーザーメッセージまたはAI生成コンテンツを推論、分類、およびラベル付けする。
  • 動的戦略の適用推論フェーズにおいて開発者が定義したセキュリティポリシーを直接解釈して適用するため、トレーニングフェーズでルールをハードコーディングする必要がなくなり、新しいルールへの迅速な適応が可能になります。
  • 「思考連鎖」の出力を完了するこれは、モデルが結論に至るまでの推論プロセスの各ステップを示し、透明性と使いやすさを向上させ、開発者がモデルの判断ロジックを追跡し理解しやすくします。

gpt-ossの技術的原理

• モデルアーキテクチャTransformerアーキテクチャをベースとし、ハイブリッドエキスパート（MoE）技術を用いて入力処理に必要なアクティブパラメータ数を削減することで、推論効率を向上させています。さらに、GPT-3と同様に、密なアテンションパターンと局所的にストライプ状に配置された疎なアテンションパターンを交互に用いることで、メモリと計算効率を最適化しています。グループサイズ8のグループ化されたマルチクエリアテンションメカニズムにより、推論効率がさらに向上します。位置エンコーディングにはRoPEを使用し、最大128kのコンテキスト長をサポートします。
• 研修前と研修後事前学習では、STEM、プログラミング、および一般知識の領域に焦点を当てた高品質のプレーンテキストデータセットを使用します。事後学習では、教師ありファインチューニングと計算負荷の高い強化学習フェーズを含む、o4-miniと同様のワークフローを採用します。学習の目的は、モデルがOpenAIモデル仕様に準拠し、連鎖推論とツール呼び出し機能を実現できるようにすることです。
• 定量化と最適化量子化はMXFP4フォーマットを使用して行われ、トレーニング中にモデルが低精度環境に適応できるようにすることで、モデルサイズを削減しながら高いパフォーマンスを確保します。gpt-oss-20b量子化モデルのサイズは約12.8GBで、16GBのRAMを搭載したデバイスで実行できます。gpt-oss-120b量子化モデルは、80GBのRAMを搭載したデバイスで実行できます。NVIDIAやAMDなどのハードウェアメーカーとの連携により、さまざまなシステムでのパフォーマンス最適化が実現されています。
• セキュリティメカニズム事前学習段階では、化学、生物学、放射能、核（CBRN）に関連する有害データがフィルタリングされます。綿密なアライメントと指示の優先順位付け評価により、学習済みモデルは危険な手がかりを拒否し、注入攻撃に耐性を持ちます。モデルのセキュリティを評価および最適化するために、特定のドメイン（生物学やサイバーセキュリティなど）で敵対的微調整が実行されます。

gpt-ossのパフォーマンス

• ベンチマークパフォーマンス：
  • 競技プログラミングCodeforcesプログラミングコンテストでは、gpt-oss-120bが2622ポイント、gpt-oss-20bが2516ポイントを獲得し、一部のオープンソースモデルを上回ったものの、クローズドソースのo3およびo4-miniにはわずかに及ばなかった。
  • 一般的な問題解決MMLUおよびHLEテストにおいて、gpt-oss-120bはOpenAIのo3-miniを上回り、o4-miniのレベルに近づいた。
  • ツール呼び出しTauBenchエージェント評価キットにおいて、gpt-oss-120bとgpt-oss-20bはどちらもOpenAIのo3-miniを上回り、o4-miniのレベルに達するか、それを上回りました。
  • 健康に関するQ&AHealthBenchのテストでは、gpt-oss-120bはo4-miniを上回り、gpt-oss-20bはo3-miniと同等のレベルに達した。

gpt-ossプロジェクトのアドレス

gpt-oss：

• プロジェクト公式サイト：https://openai.com/zh-Hans-CN/index/introducing-gpt-oss/
• GitHubリポジトリ：https://github.com/openai/gpt-oss
• ハギングフェイスモデルライブラリ：https://huggingface.co/collections/openai/gpt-oss-68911959590a1634ba11c7a4
• オンラインでデモを体験してください：https://gpt-oss.com/

gpt-oss-safeguard：

• プロジェクト公式サイト：https://openai.com/index/introducing-gpt-oss-safeguard/
• ハギングフェイスモデルライブラリ：https://huggingface.co/collections/openai/gpt-oss-safeguard
• 技術論文：https://openai.com/index/gpt-oss-safeguard-technical-report/

gpt-ossの応用シナリオ

• ローカル推論とプライバシー保護プライバシー保護が重視される分野（医療や金融など）では、gpt-ossはローカルデバイス上で動作することで、強力な推論機能を提供しながらデータセキュリティを確保できます。
• プログラミング支援およびコード生成開発者はgpt-ossを使用してツールを呼び出し、コードスニペットを生成および検証することで、プログラミング効率を大幅に向上させ、デバッグ時間を短縮できます。
• インテリジェントな顧客サービスと顧客サポート企業は、顧客からの問い合わせに迅速に対応し、正確な回答を提供し、人件費を削減するために、gpt-ossをインテリジェントな顧客サービスシステムとして導入することができます。
• 教育および学習指導学生はgpt-ossを利用して学習を支援したり、質問に答えたり、作文の提案を受けたりすることで、学習効率と理解度を向上させる。
• クリエイティブコンテンツの生成作家、脚本家、ゲーム開発者などは、gpt-oss を利用して創造的なコンテンツを生成したり、アイデアを刺激したり、創作効率を向上させたりしています。