Qwen3 - Alibaba Tongyiがオープンソース化した新世代のハイブリッド推論モデル - AiBoss

Qwen3とは何ですか？

Qwen3は、アリババが発表した次世代の大規模言語モデルです。Qwen3は、「思考モード」と「非思考モード」の2つの動作モードをサポートしています。思考モードでは、モデルは段階的に推論し、慎重な検討の後、最終的な回答を提供します。これは複雑な問題に適しています。非思考モードでは、モデルは高速でほぼ瞬時の応答を提供し、単純な問題に適しています。Qwen3は119の言語と方言をサポートしており、前バージョンの29言語から大幅に改善されています。Qwen3はエンコーディングとエージェント機能を最適化し、MCPプロトコルをサポートし、外部ツールやデータソースとの統合性が向上しています。Qwen3のデータセットサイズは約36兆トークンに達し、Qwen2.5の2倍です。Qwen3は、長い思考連鎖コールドスタート、長い思考連鎖強化学習、思考パターン融合、一般的な強化学習を含む4段階のトレーニングプロセスを採用しています。 Qwen3シリーズのモデルはApache 2.0ライセンスの下でオープンソースとして公開されており、世界中の開発者、研究機関、企業がダウンロードして商用利用することができます。

アリババは最近、Qwen3シリーズの新しいモデルであるQwen3-EmbeddingとQwen3-Rerankerの2つをオープンソース化した。

Qwen3-Embedding：多言語テキスト表現ベンチマークにおいて、Qwen3-Embeddingは卓越した性能を発揮します。8パラメータモデルであるQwen3-Embeddingは、MTEB多言語リーダーボードで70.58のスコアを獲得し、GoogleのGemini-Embeddingをはじめとする多くの商用APIサービスを凌駕し、1位にランクインしました。入力として単一のテキストセグメントを受け取り、モデルの最終層にある「EOS」ラベルに対応する隠れ状態ベクトルを入力テキストのセマンティック表現として使用します。テキスト分類、クラスタリング、類似度計算など、テキストのセマンティック表現を必要とするシナリオに適しており、下流タスクに高品質なテキスト特徴を提供できます。

Qwen3-Reranker: 基本的な関連性検索タスクにおいて、8Bモデルは多言語検索タスクで69.02、中国語検索タスクで77.45、英語検索タスクで69.76という高得点を獲得し、他のベースラインモデルを大きく上回りました。テキストペア（ユーザーのクエリと候補ドキュメントなど）を入力として受け取り、シングルタワー構造を使用して2つのテキストの関連性スコアを計算して出力します。検索エンジンの結果ランキングや質問応答システムの回答ランキングなど、テキスト検索およびランキングタスクに使用され、検索結果の関連性と精度を向上させます。

Qwen3の主な機能

ハイブリッド推論モードQwen3は、「思考モード」と「非思考モード」の2つの動作モードをサポートしています。思考パターン複雑な問題に適したこのモデルは、段階的な推論を経て解答を提供します。思考停止モード高速かつほぼ瞬時の応答を実現し、単純な問題に適しています。タスクの複雑さに基づいてモデルの推論プロセスを柔軟に制御できるため、コスト効率と推論品質のバランスを取ることができます。
多言語対応Qwen3は、英語、フランス語、中国語（簡体字と繁体字）、広東語などを含む119の言語と方言をサポートしており、国際的な応用範囲を大幅に拡大しています。
エージェント機能の強化Qwen3は、コーディングとエージェント機能を最適化し、MCPプロトコルをサポートし、外部ツールとの効率的な連携を可能にします。Qwen-Agentフレームワークと組み合わせることで、コーディングの複雑さを大幅に軽減し、携帯電話やコンピュータ上でのエージェントの効率的な動作を実現します。
複数のモデル構成Qwen3は、2つのMoEモデル（Qwen3-235B-A22BおよびQwen3-30B-A3B）と6つのDenseモデル（Qwen3-32B、Qwen3-14B、Qwen3-8B、Qwen3-4B、Qwen3-1.7B、およびQwen3-0.6B）を含む、さまざまなモデル構成を提供しており、小型デバイスから大規模なエンタープライズ展開まで、幅広いシナリオに対応します。

Qwen3の技術原則

大規模な事前トレーニングQwen3の事前学習データセットは約36兆トークンで構成されており、Qwen2.5の2倍の規模で、119の言語と方言を網羅しています。事前学習プロセスは3つの段階から構成されています。
- フェーズ1（S1）このモデルは、コンテキスト長4Kトークンで30兆トークンを超えるデータを用いて事前学習されました。この段階で、モデルは基本的な言語スキルと一般的な知識を習得しました。
- フェーズ2（S2）データセットは、知識集約型データ（STEM、プログラミング、推論タスクなど）の割合を増やすことで改善され、その後、追加の5兆トークンでモデルが事前学習された。
- フェーズ3高品質な長文コンテキストデータを使用してコンテキスト長を32,000トークンまで拡張することで、モデルがより長い入力を効果的に処理できるようになります。
最適化されたトレーニング後推論能力と迅速な対応能力の両方を備えたハイブリッドモデルを開発するために、Qwen3は4段階のトレーニングプロセスを実施しました。
- 長い思考の流れコールドスタートこのモデルは、数学、プログラミング、論理的推論、STEM分野の問題など、さまざまなタスクや領域を網羅する、多様な長時間の思考連鎖データを用いて微調整されています。
- 推論に基づく強化学習ルールに基づいた報酬を用いて、モデルの探索能力と研究能力を向上させる。
- 思考モード融合長い思考連鎖データと一般的に使用される指示微調整データを含む複合データセットでモデルを微調整し、非思考パターンを思考モデルに統合する。
- 一般的な強化学習強化学習は、指示遵守、フォーマット遵守、エージェントの能力など、20以上の一般的なドメインタスクに適用され、モデルの汎用能力をさらに向上させ、不適切な動作を修正します。
複数のモデル構成Qwen3は、以下のような様々なモデル構成を提供しています。
- MoEモデル: Qwen3-235B-A22B および Qwen3-30B-A3B。
- 高密度モデル本シリーズには、Qwen3-32B、Qwen3-14B、Qwen3-8B、Qwen3-4B、Qwen3-1.7B、およびQwen3-0.6Bが含まれます。これらのモデルは、小型デバイスから大規模な企業向け導入まで、幅広いシナリオに対応します。
パフォーマンス最適化Qwen3は、パフォーマンスを大幅に向上させると同時に、導入コストを劇的に削減します。例えば、フルパワー版でもH2O GPUをわずか4基搭載するだけで導入でき、メモリ使用量は同等のパフォーマンスを持つモデルの3分の1に抑えられます。

Qwen3のプロジェクトアドレス

プロジェクト公式サイト：https://qwenlm.github.io/blog/qwen3/
GitHubリポジトリ：
- Qwen3：https://github.com/QwenLM/Qwen3
- Qwen3-Embedding：https://github.com/QwenLM/Qwen3-Embedding
ハギングフェイスモデルライブラリ：
- Qwen3：https://huggingface.co/collections/Qwen/qwen3
- Qwen3-Embedding：https://huggingface.co/collections/Qwen/qwen3-embedding
- Qwen3-Reranker：https://huggingface.co/collections/Qwen/qwen3-reranker

Qwen3のパフォーマンス

Qwen3は、以下のような複数のベンチマークテストで優れた性能を発揮しました。

AIME25Qwen3は81.5点を獲得し、オープンソースソフトウェアの新記録を樹立した。
LiveCodeBenchQwen3は70点以上を獲得し、Grok3をも上回った。
ArenaHardQwen3は95.6というスコアでOpenAI-o1とDeepSeek-R1を上回った。

Qwen3の応用シナリオ

テキスト生成Qwen3は、自動執筆、ニュース生成、ブログ記事作成などの用途に適した、一貫性があり自然な響きの長文テキストを生成できます。与えられたプロンプトに基づいて、完全な記事や物語を生成することも可能です。
機械翻訳Qwen3は119の言語と方言に対応しており、多言語翻訳タスクにおいて非常に優れた性能を発揮します。複数の言語ペア間の翻訳タスクを処理し、高品質な翻訳結果を提供します。
法的文書の自動生成Qwen3は、契約書、法的意見書、訴訟関連文書などの法的文書を生成できます。法律分野のコーパスを微調整することで、Qwen3は法的規制や形式に準拠した文書を生成できます。
技術文書作成Qwen3は、詳細な技術文書、製品仕様書、ユーザーマニュアルなどを生成できます。技術分野におけるコーパスを最適化することで、Qwen3は開発者やテクニカルサポートチームが業界標準のドキュメント生成を自動化するのに役立ちます。
医療分野Qwen3は、医療レポートや診断提案などを生成するために使用できます。医学文献や診療記録などのデータを微調整することで、Qwen3は医療基準を満たす専門的なレポートを作成できます。また、診断プロセス中に医師が症例記録を自動的に作成するのを支援します。
法分野Qwen3は、法律文献、判例、および規制を綿密に調整することにより、高度に専門的な法律文書を生成することができます。