AB
AB
AiBoss

すべてのカテゴリ

project

Skywork-SWE-32B - Kunlun Techが独自開発したオープンソースのインテリジェントエージェント基盤モデル。

Skywork-SWE-32Bは、Kunlun Wanweiによって開発された、ソフトウェアエンジニアリング（SWE）向けのオープンソースの32ビット自律型コードエージェント基盤モデルです。このモデルは、ソフトウェアエンジニアリングのタスク、特にリポジトリレベルのコード修復機能に重点を置いており、複数ターンのやり取りや長文のコードを処理できます。

Skywork-SWE-32Bとは何ですか？

Skywork-SWE-32Bは、Kunlun Wanwei氏が開発した、ソフトウェアエンジニアリング（SWE）向けのオープンソースの32バイト（32B）自律型コードエージェントモデルです。このモデルは、ソフトウェアエンジニアリングのタスク、特にリポジトリレベルのコード修復機能に焦点を当てており、複数ターンのやり取りや長文テキストの処理を伴う複雑なシナリオで優れたパフォーマンスを発揮します。10,000を超える検証可能なGitHubリポジトリタスクインスタンスを構築することで、これまでで最大の検証可能なGitHubリポジトリレベルのコード修復データセットを作成し、SWE-bench Verifiedベンチマークで38.0%のパス@1精度を達成し、同じパラメータサイズのモデルで新たな最高性能を記録しました。テスト時のスケーリング技術を導入することで、精度はさらに47.0%に向上し、32バイト未満の既存のオープンソースモデルを大幅に上回り、一部のクローズドソースモデルのパフォーマンスに匹敵、あるいはそれを上回る性能を実現しています。

Skywork-SWE-32Bの主な機能

  • リポジトリレベルのコード修正GitHubリポジトリ内のコード上の問題（バグなど）を特定し、修正コードを生成し、修正の効果を検証し、問題の理解から解決までの一連のプロセスを完了させることができます。
  • 複数ターンの相互作用機能50回以上の対話をサポートし、実際の開発シナリオにおける複数のデバッグおよび修復プロセスをシミュレートすることで、問題を段階的に解決します。
  • 長文処理32,000トークンを超える長文テキストも処理でき、複雑なコードファイルや複数のファイル依存関係の処理ニーズに対応します。
  • 自動検証専用の実行環境と単体テスト検証メカニズムを構築することで、生成された修正が実際の実行環境で有効であることを保証します。

Skywork-SWE-32Bの技術原理

  • 大規模データセットの構築
    • データの自動収集と検証データ収集と事前スクリーニング、実行ベースの検証、エージェントの軌跡生成という3段階の自動化プロセスを経て、2,531の異なるGitHubリポジトリを網羅する、10,169個の実際のPythonタスクインスタンスを含むデータセットが構築されました。
    • ランタイム環境のサポート各タスクインスタンスには専用のDockerランタイム環境イメージが搭載されており、生成された修正が実際のランタイム環境で有効であることを保証するための自動単体テストをサポートしています。
    • 質の高いトレーニングの軌跡タスク解決プロセス中のエージェントの複数ラウンドにわたる相互作用軌跡を分析することで、高品質なトレーニングサンプルが生成され、それがモデルの微調整に使用されます。
  • モデルのトレーニングと最適化
    • OpenHandsフレームワークに基づいていますOpenHandsコードインテリジェンスフレームワークを採用し、複数ターンの対話と長文処理をサポートしており、実際の開発シナリオにおけるコード修復プロセスをシミュレートできます。
    • データスケーリング法則体系的な検証の結果、訓練データの規模が大きくなるにつれてモデルの性能が継続的に向上することが判明し、ソフトウェアエンジニアリングのタスクにおけるデータスケーリング法則の適用可能性が検証された。
    • テスト時間延長技術（TTS）推論フェーズでは、独立したロールアウトの数を増やす（例えば、N=8）ことでモデルのパフォーマンスをさらに向上させることができ、モデルの推論機能を最大限に活用できます。

Skywork-SWE-32Bプロジェクトの住所

  • ハギングフェイスモデルライブラリ：https://huggingface.co/Skywork/Skywork-SWE-32B
  • 技術論文：https://huggingface.co/Skywork/Skywork-SWE-32B/resolve/main/assets/Report.pdf

Skywork-SWE-32Bの応用事例

  • コード品質を最適化するこのモデルは、コード内の潜在的な問題を分析し、最適化の提案を行い、開発者がコードの品質と保守性を向上させるのに役立ちます。
  • 単体テストの自動化Skywork-SWE-32Bは、専用の実行環境と単体テスト検証メカニズムを構築することで、生成された修正が有効かどうかを検証するためのテストケースを自動的に実行できます。
  • 教材ソフトウェア工学やプログラミングの授業において、Skywork-SWE-32Bは、学生がコードによる問題解決プロセスを理解し、プログラミングスキルを向上させるための教材として活用できます。
  • 研究支援これは、研究者に対し、ソフトウェアエンジニアリングのタスクにおける大規模言語モデルの応用を探求し、データスケーリング法則などの理論を検証するための強力な実験プラットフォームを提供する。
  • 社内開発ツール企業はSkywork-SWE-32Bを社内の開発ツールに統合することで、コードの問題を自動化し、手作業による介入を減らし、開発効率とコード品質を向上させることができます。
戻る