Sky-T1はNovaSkyのオープンソース推論AIモデルであり、ゼロから再現することが可能です。

Sky-T1とは何ですか？

Sky-T1は、カリフォルニア大学バークレー校のSky Computing Labの研究チームであるNovaSkyがリリースしたオープンソースの推論AIモデルです。当初はSky-T1-32B-Previewという名前でしたが、トレーニングデータセットとコードが公開されている初のオープンソース推論モデルであり、ユーザーはゼロからモデルを再現できます。トレーニング費用は450ドル未満です。Sky-T1のトレーニングデータは、AlibabaのQwQ-32B-Preview推論モデルから生成され、慎重に選択および再構築され、OpenAIのGPT-4o-miniを使用して処理されたため、トレーニングが容易になっています。パフォーマンスの面では、Sky-T1はMATH500（「競技レベル」の数学的課題のセット）においてOpenAIの以前のバージョンo1のプレビュー版を上回り、LiveCodeBenchプログラミング評価でも優れたパフォーマンスを発揮します。

Sky-T1の主な特徴

• オープンソースSky-T1のトレーニングデータセットとコードは一般公開されており、ユーザーはモデルをゼロから再現することができます。
• 低コストのトレーニングこのモデルのトレーニング費用は450ドル未満であり、過去に同等のモデルをトレーニングするために必要だった数百万ドルと比べて大幅に低い。
• 推論能力Sky-T1は自己検証を効果的に実行し、よくある落とし穴を回避できますが、解決策にたどり着くまでには数秒から数分かかる場合があります。物理学、科学、数学などの分野では、より信頼性が高くなります。
• トレーニングデータとハードウェアSky-T1の学習データは、アリババのQwQ-32B-Preview推論モデルから生成されました。慎重な選択の後、データはOpenAIのGPT-4o-miniに基づいて再構築され、処理が容易になりました。320億個のパラメータを持つこのモデルの学習には、わずか19時間ほどしかかからず、8基のNvidia H100 GPUが使用されました。
• パフォーマンスMATH500（競技レベルの数学問題集）において、OpenAIのo1の初期プレビュー版を上回る成績を収めただけでなく、LiveCodeBench（コーディング評価ツール）の問題集においても、o1のプレビュー版を凌駕した。

Sky-T1プロジェクトの住所

• プロジェクト公式サイト：https://novasky-ai.github.io/posts/sky-t1
• ハギングフェイスモデルライブラリ：https://huggingface.co/NovaSky-AI/Sky-T1-32B-Preview

Sky-T1の応用事例

• 数学的問題解決Sky-T1は、MATH500（「競技レベル」の数学的課題のセット）において、以前のOpenAIバージョンo1のプレビュー版を上回る性能を発揮し、複雑な数学的問題を解決する上で大きな優位性を示し、教育、研究、競技などの分野に適していることを証明しました。
• プログラミング評価LiveCodeBenchのプログラミング評価においても、Sky-T1は優れた性能を発揮し、開発者のコード生成、最適化、エラー検出を効果的に支援しました。そのため、ソフトウェア開発、プログラミング教育、自動テストのシナリオに適しています。
• 科学研究Sky-T1は、GPQA-Diamondテスト（物理学、生物学、化学の大学院レベルの問題を含む）において、o1プレビュー版よりも若干劣るものの、物理学、科学、数学の分野ではより信頼性が高く、科学研究や学術研究における複雑な問題の解決に適している。