project
Kimi K3 - Dark Side of the Moonが公開した2.8兆パラメータのオープンソースモデル
Kimi K3は、Dark Side of the Moonが開発した、2.8兆個のパラメータを持つオープンソースモデルです。KDAハイブリッド線形アテンションメカニズムとアテンション残差技術に基づいて構築されており、視覚理解をネイティブにサポートし、100万トークンのコンテキストウィンドウを備えています。
キミK3とは何ですか?
Kimi K3は、Dark Side of the Moonが開発した2.8兆パラメータのオープンソースモデルです。KDAハイブリッド線形アテンションメカニズムとアテンション残差技術に基づいて構築されており、視覚理解をネイティブにサポートし、100万トークンのコンテキストウィンドウを備えています。パラメータレベル3兆の世界初のオープンソースモデルとして、Kimi K3は長距離プログラミング、知識作業、推論などの最先端のインテリジェントシナリオ向けに設計されており、プログラミング、エージェント、知識作業の評価において最先端のレベルを達成しています。
キミK3の主な機能
-
長期計画これは、大規模なコードベースの理解と処理、長期的なエンジニアリングタスクの継続的な完了、およびターミナルツールの使用の調整をサポートします。
-
視覚的推論このアプローチは、ソフトウェアエンジニアリングと視覚的推論を組み合わせ、スクリーンショットと視覚的なフィードバックを活用して、ゲーム開発、フロントエンド開発、およびCADを最適化します。
-
カーネル最適化GPUサンドボックス内で、GPUカーネルの最適化を独立して分析、書き換え、検証し、24時間継続的に反復する。
-
コンパイラ開発PTXコード生成パイプラインの完全な最適化を実現するために、Triton GPUコンパイラ(MiniTriton)をゼロから構築します。
-
インタラクティブな制作3D推論、プログラミング、および画像認識機能を統合することで、概念をプレイ可能なインタラクティブな体験へと変換します。
-
チップ設計オープンソースのEDAツールをベースとして、チップの構築、最適化、検証を独自に完了させ、モデルを自己活用するチップ設計を実現できます。
-
科学的プログラミングこれは科学文献と実行可能なコードの間のギャップを埋め、複雑な計算研究プロセスの自律的な実装、検証、および分析を可能にする。
キミK3の技術原理
- KDAハイブリッド線形アテンションメカニズムKimi K3は、Kimi Delta Attention(KDA)を基盤として構築されています。KDAは、より長いシーケンスやより深いモデルにおいて情報がよりスムーズに流れるようにすることで、長いコンテキストの処理能力を向上させるハイブリッド線形アテンションメカニズムです。
- アテンション残差このモデルは、アテンション残差技術を導入することで、深層ネットワークにおける情報伝達をより安定させ、モデルの深さが増すにつれて発生する可能性のある勾配減衰問題を軽減します。
- 安定したLatentMoEスパースアーキテクチャ本手法は、エキスパート混合(MoE)アーキテクチャを採用し、それを安定潜在MoEフレームワークと組み合わせることで、896個のエキスパートのうちわずか16個のみを効率的に活性化し、計算効率とパラメータ利用率を大幅に向上させています。
- ネイティブビジョンとロングコンテキストのサポートこのモデルは、視覚理解をネイティブにサポートしており、100万トークンのコンテキストウィンドウを備え、非常に長いテキストやマルチモーダル入力を同時に処理できます。
Kimi K3の使い方
- 公式入口対話のためにKimi K3モデルを直接呼び出すには、Kimiモバイルアプリの最新バージョン、またはKimi Workデスクトップクライアントにアクセスしてください。
- プログラミングK3は、長距離プログラミング、コードライブラリの理解、ターミナルツールの連携といった開発シナリオ向けに最適化されたKimi Codeクライアントを通じて使用できます。
- APIアクセスKimi APIを呼び出すことで、K3を独自のアプリケーションやワークフローに統合し、自動化タスクをサポートしたり、サードパーティシステムと連携させたりすることができます。
- 思考強度の調整現在のデフォルト設定は、最大(極限)思考モードです。今後のアップデートでは、低強度と高強度のモードがサポートされ、タスクの複雑さに応じて柔軟に切り替えられるようになります。
キミK3のコアアドバンテージ
-
規模でリード世界初の3兆規模のオープンソースモデルは、過去12ヶ月のうち9ヶ月間、オープンソースモデルの規模の上限を維持している。
-
長距離自律長時間のエンジニアリング作業においても安定した性能を発揮し、24時間の自律的なカーネル最適化と48時間のチップ設計エージェントの動作をサポートします。
-
コスト効率Kimi Code BenchやBrowseCompなどのベンチマークテストでは、より低コストでトップレベルのクローズドソース製品に匹敵する性能を実現しています。
-
ビジュアルループコードとリアルタイムのスクリーンショット間のシームレスな反復をサポートし、真の視覚的フィードバック最適化(ビジョン・イン・ザ・ループ)を実現します。
-
エンドツーエンドの研究文献を自律的に読み込み、数値計算を実行し、公開されている数式の矛盾点を発見し、インタラクティブなダッシュボードを生成することができる。
キミK3プロジェクトの住所
モデルの重量に関する完全なデータは、2026年7月27日までに公開される予定です。
キミK3と類似製品との比較
| 寸法 | Kimi K3 | Claude Fable 5 |
|---|---|---|
| パラメータサイズ | 2.8T(オープンソース) | 非公開ソース |
| Terminal Bench | 88.3(1位) | 84.6 |
| DeepSWE | 67.5 | 70.0(1位) |
| FrontierSWE | 81.2(2位) | 86.6(1位) |
| Program Bench | 77.8(1位) | 76.8 |
| SWE Marathon | 42.0(1位) | 35.0 |
| BrowseComp | 91.2(1位) | 88.0 |
| GDPval-AA | 1668.0 | 1760.0(最初) |
| JobBench | 52.9(2位) | 57.4(第一) |
| CharXiv | 91.3(2位) | 93.5(1位) |
| Zerobench | 41.0(2位) | 46.0(1位) |
| Automation Bench | 30.8(1位) | 29.1 |
| SpreadsheetBench 2 | 34.8(1位) | 34.7(2位) |
| オープンソースのエコシステム | 完全オープンソース | 非公開ソース |
Kimi K3の応用事例
-
大規模ソフトウェアエンジニアリングこのモデルは、大規模なコードベースを自律的に分析およびリファクタリングすることができ、通常であれば数時間、場合によっては数日かかるような複雑な開発タスクを継続的に完了させることができます。
-
GPUカーネルとコンパイラの最適化高性能コンピューティングシナリオ向けにGPUカーネルを自動的に最適化したり、ドメイン固有のコンパイラをゼロから構築したりできます。
-
インタラクティブな3Dコンテンツ開発視覚的なフィードバックを組み合わせることで迅速な反復開発が可能になり、コンセプトをプレイ可能な3Dゲーム、シミュレーター、またはビジュアライゼーションへと変換できます。
-
科学計算とデータ分析このシステムにより、ユーザーは文献を独自に閲覧したり、数値計算プロセスを再現したり、多数の状態方程式を評価したり、インタラクティブな結果ダッシュボードを生成したりすることができる。
-
ハードウェアチップ設計オープンソースのEDAツールチェーンをベースに、チップアーキテクチャの設計、最適化、検証を独自に完了させ、モデルを自己活用するチップ設計を実現しました。