Mellum2 - JetBrainsのオープンソースハイブリッドエキスパートモデル - AiBoss

Mellum2とは何ですか？

Mellum2は、JetBrainsが開発したソフトウェアエンジニアリングシステム向けの新しいオープンソース機械学習モデルです。このモデルは、トークンあたりわずか25億個のパラメータしか使用せず、ソフトウェアエンジニアリングにおけるAIワークフローに最適化されています。また、コード生成、インテリジェントルーティング、サブエージェントの呼び出し、プライベートデプロイメントにも対応しています。低遅延、高スループット、低コストという特長を持つMellum2は、LiveCodeBenchなどのコードベンチマークで優れたパフォーマンスを発揮し、エンタープライズグレードのAIプログラミングアシスタントや自動化ワークフローの構築に最適な高性能モデルです。

Mellum2の主な機能

インテリジェントなコード生成コードと自然言語データに基づいて学習されており、コード補完、関数生成、リファクタリングの提案をサポートします。
デュアルモード推論思考モード（深い思考）と非思考モード（迅速な反応）の2つのモードがあり、必要に応じて切り替えることができます。
ワークフローのルーティングと要約これはAIワークフローのためのインテリジェントなルーターとして機能し、タスクの分配、文書の要約、および中間推論を担当します。
ツール呼び出しとエージェント連携サブエージェントの呼び出しとツールチェーンの統合をサポートし、複雑な自動化プロセスに組み込むことができます。
ローカルプライベート展開外部APIに依存することなく、企業イントラネットやローカルデバイス上で独立して動作させることができます。

Mellum2の技術原則

MoEスパースアーキテクチャ64 個のエキスパートとトークンごとに 8 個のエキスパートをアクティブ化する Mixture-of-Experts 設計を採用することで、パラメータの総数は 12B になりますが、実際のアクティブ化はわずか 2.5B であり、推論コストは 2.5B の密なモデルとほぼ同じになります。Grouped-Query Attention と sliding window Attention を組み合わせることで、メモリ使用量が大幅に削減され、デコードが高速化されます。Multi-Token Prediction ヘッドは、パフォーマンスを向上させるための補助的な事前学習目的として導入され、投機的デコード用の組み込みドラフトモデルとして機能し、レイテンシをさらに削減します。
3段階の事前トレーニングトレーニングは約10兆6000億トークンで行われ、データ構成は一般的なウェブページデータから厳選されたコードや数学的コンテンツへと徐々に移行し、段階的な学習プロセスを形成しました。MuonオプティマイザをFP8混合精度と組み合わせて使用し、トレーニング効率とモデルの安定性のバランスを取るために、ウォームアップ・ホールド・ディケイ（ゼロへの線形減衰）学習率スケジューリングを採用しました。
長い文脈展開事前学習済みのベースモデルは、レイヤー選択型YaRNを使用してコンテキストウィンドウを128Kに拡張し、全レイヤーのファインチューニングによるパフォーマンス低下を回避するために、主要なレイヤーのみで位置エンコーディング補間を実行します。

Mellum2の主な利点

MoE高効率アーキテクチャ合計120億個のパラメータのうち、実際に使用されるのはわずか25億個であり、推論コストを大幅に削減し、高いスループットと低いレイテンシを実現している。
垂直的専門化マルチモーダルなアプローチを放棄し、コードと自然言語に焦点を当てることで、より正確で軽量なソフトウェアエンジニアリングソリューションが実現する。
生産レベルの性能LiveCodeBench v6のコード評価において、Thinkingモードは69.9点を獲得し、同クラスの他のオープンソースモデルを上回った。
完全オープンソースで商業的に実現可能Apache 2.0ライセンスの下でライセンスされており、自由な実験、微調整、および大規模な商用展開が可能です。
企業向けプライバシー保護完全なローカライズされた運用をサポートし、コードのセキュリティおよびデータコンプライアンス要件を満たします。

Mellum2の競合製品比較

比較対象寸法	Mellum2	Qwen3.5-9B	SeedCoder-8B
モデルアーキテクチャ	12B MoE（エキスパート64名、アクティベーション8件、アクティブパラメータ25億件）	9B 高密度モデル	8B 高密度モデル
オープンソースライセンス	Apache 2.0（完全に商業的に実現可能）	オープンソース（商用利用可能）	不明瞭／一部制限あり
モーダルサポート	テキスト＋コードのみ（専門分野特化型）	テキスト、コード、画像、動画（マルチモーダル）。	コードのみ（単一ドメイン）
トークンごとの計算	約2.5Bパラメータ（極めて低い）	9Bパラメータ（完全有効化）	8Bパラメータ（完全有効化）
LiveCodeBench v6	69.9（Thinking）	68.3（Thinking）	28.1（Non-thinking）
BFCL V4ツール呼び出し	45.6（Thinking）	42.7（Thinking）	該当なし（サポート対象外）
AIME数学的推論	58.4（Thinking）	73.4（Thinking）	0（サポートされていません）
コンテキストの長さ	128K (YaRN拡張機能)	128K+	一般的には4K～8K
推論パターン	デュアルモード：思考モード＋非思考モード	デュアルモード：思考モード＋非思考モード	思考しない人だけ

Mellum2の応用シナリオ

インテリジェントなコード補完と生成これは、IDE内でリアルタイムのコード補完、関数生成、コードリファクタリング、および編集提案を提供し、従来の自動補完ツールに取って代わるものです。
デバッグとエラー診断これは、開発者がバグを特定し、スタックトレースを分析し、修正プログラムを生成するのに役立ち、デバッグ時間とコストを削減します。
多段階推論と複雑なタスク分解エージェントのワークフローにおいて、これは中間推論ノードとして機能し、複雑な要件を実行可能な一連のサブタスクに分解します。
ツール呼び出しと関数オーケストレーション関数呼び出しを介して外部API、データベース、または開発ツールに接続し、ビルド、テスト、およびデプロイのプロセスを自動化します。
対話型プログラミングアシスタント自然言語による対話を通じて、技術的な質問に答えたり、コードのロジックを説明したり、ベストプラクティスを推奨したり、24時間365日対応の技術アドバイザーとして機能します。