AB
AiBoss
project

Step-2 mini - Step-Star社が発売した、軽量かつ高速な大型モデル。

Step-2 miniは、Step-Starが発売した軽量・高速大型モデルで、次世代の自社開発アテンションアーキテクチャMFAをベースに開発されました。Step-2の80%以上の性能を維持しながら、パラメータはわずか3%に削減されており、性能が大幅に向上しています。

Step-2 miniとは何ですか?

Step-2 miniは、Step-Leap Starが開発した次世代アテンションアーキテクチャMFAをベースにした、軽量かつ高速な大規模モデルです。Step-2の80%以上の性能を維持しながら、パラメータ数はわずか3%に抑えられており、生成速度とコスト効率が大幅に向上しています。4000個のトークンを入力した場合、平均ファーストワードレイテンシはわずか0.17秒で、非常に高速な応答能力を発揮します。Step-2 miniはMFAアーキテクチャを採用しており、従来のマルチヘッドアテンションアーキテクチャと比較して、キーバリューキャッシュのオーバーヘッドを約94%削減し、推論コストを大幅に低減します。

Step-2 miniの主な機能

  • 一般的なタスク処理テキスト生成、質問応答、翻訳など、さまざまな一般的な言語タスクを処理できます。
  • コード生成と最適化コード生成、ユーザーニーズの理解、実行可能コードの生成において卓越した性能を発揮します。
  • 論理的推論と数学的問題解決論理的思考能力が高く、複雑な数学的問題を解決できる。

Step-2 miniの技術原理

  • 多重行列因子分解アテンションメカニズム(MFA)アーキテクチャMFAアーキテクチャは、StepStarと清華大学をはじめとする複数の機関が共同開発した、斬新なアテンションメカニズムです。行列分解を用いることで、従来のアテンションメカニズムにおけるキーバリューキャッシュ(KVキャッシュ)の使用を大幅に削減し、メモリ消費量を低減します。MFAアーキテクチャは、積極的な低ランク分解戦略を採用することで、モデルのアテンションヘッドの数と次元を拡張する際にも、極めて高いパラメータ効率を維持します。
  • 強化学習技術Step-2 miniは、大規模な強化学習トレーニングとオンポリシー強化学習アルゴリズムの使用により、「バランスの取れた」モデルを実現します。
  • 高いコストパフォーマンスと迅速な対応Step-2 miniは、極めて高速な応答時間を実現しながら、低いコンピューティングコストを維持しているため、効率性とコストに対する要求が高いシナリオに適しています。

ステップ2 ミニプロジェクトのアドレス

ステップ2ミニモデルの価格

  • 価格入力:1元/100万トークン、出力:2元/100万トークン。

ステップ2:ミニアプリケーションシナリオ

  • 数学的問題解決Step-2 miniは、複雑な数学の問題を段階的に計画し解決するための、合理的な推論連鎖を構築することができます。
  • 論理的推論論理推論タスクにおいて、Step-2 miniは複数の問題解決手法を自律的に試行できます。予備的な解答を得た後、他の可能性がないか自問自答し、有効な解決策がすべて列挙されるようにします。
  • データ分析Step-2 miniは、研究者が論理的推論、データ分析、学際的な知識の統合を行い、研究プロジェクトの進捗を促進するのに役立ちます。
  • 文学理解このモデルは、科学研究文献を理解し要約することで、重要な情報や研究の方向性に関する提案を提供することができる。
  • コード開発Step-2 miniは、コード例と論理分析を提供することで、プログラマーが効率的にコードを開発できるよう支援します。
  • ビジネス上の意思決定これは、経営者に対し、ビジネス上の意思決定のための論理的な分析と提案を提供し、オフィス業務のプロセスを最適化します。