Seed 1.6 - ByteDanceが発売した汎用モデルシリーズ

Seed 1.6とは何ですか？

Seed 1.6は、ByteDanceのSeedチームが開発した汎用モデルシリーズです。マルチモーダル機能を統合し、256Kの長文コンテキストによる深層推論をサポートします。Seed 1.6は、Seed 1.5のスパースMoE探索結果を継承し、純粋なテキスト事前学習、マルチモーダルハイブリッド継続学習、長文コンテキスト継続学習の3段階を経て、テキストとビジョン機能を向上させています。学習後の段階では推論機能を強化し、Seed 1.6-ThinkingとSeed 1.6（Adaptive CoT）を開発することで、極限推論と動的思考のバランスを実現しています。全国大学入学試験（高考）やJEE Advancedなどの汎化テストで優れた成績を収めています。今後の開発では、推論性能を向上させ、マルチモーダル機能を充実させるための、より効率的なアーキテクチャを探求していきます。

Seed 1.6の主な機能

• マルチモーダルな理解テキスト情報と視覚情報を同時に処理し、画像や動画などの視覚コンテンツを理解・分析し、テキストとグラフィックを組み合わせたインタラクティブな表示を実現できる。
• 深い推論256Kバイトの長文コンテキストを用いた高度な推論をサポートし、複雑な論理問題や長文の読解、多段階推論などのタスクを処理できます。
• 適応思考問題の難易度に基づいて思考モード（完全思考、非思考、適応思考）を自動的に選択し、推論の有効性とパフォーマンスのバランスを取ります。
• グラフィカルインターフェース操作ウェブページやソフトウェアインターフェースなどのグラフィカルインターフェースの理解と操作をサポートし、自動化されたタスクや対話型操作を実現します。

Seed 1.6の技術的原理

• 事前トレーニングこのモデルは、ウェブページ、書籍、論文、コードなどのデータを用いて学習され、事前学習データの質と知識密度を向上させています。主題別データ、コードデータ、推論関連データの割合を増やすことで、視覚的なモダリティデータが高品質のテキストデータと混合され、学習に使用されます。モデルの最大シーケンス長は、長さの異なる長文テキストデータを用いて、32Kから256Kまで段階的に増加されます。
• トレーニング後：
  • Seed1.6-Thinkingより長い思考プロセスを通じて最適な推論性能を実現するために、多段階のRFTとRL反復最適化を用いて複雑な問題に対するモデルの思考時間を強化し、VLMを深く統合することで明確な視覚的理解能力を実現します。
  • Seed1.6（Adaptive CoT）動的思考技術に基づき、有効性を維持しながらCoT（思考過程）の長さを短縮し、パフォーマンスと有効性の動的なバランスを実現した。新たな報酬関数を導入することで、モデルは様々な指示に基づいて思考を行うかどうかを自動的に選択できるようになった。
• アーキテクチャとアルゴリズムの改善モデルのパフォーマンスと効率性を向上させるため、モデルアーキテクチャ、トレーニングアルゴリズム、インフラストラクチャを継続的に改善します。効率的なデータクリーニング、フィルタリング、重複排除、サンプリング戦略を用いて、事前学習データの品質を向上させます。並列デコード技術に基づき、より多くの思考トークンを用いて回答を提示することで、難易度の高いタスクにおけるモデルのパフォーマンスを向上させます。

シード1.6のパフォーマンス

• MMLUテストSeed1.6-AdaCoTはMMLUテストにおいて37%のCoTトリガー率を達成し、パフォーマンスを低下させることなくトークンを効果的に節約しました。
• 大学入学試験Seed1.6-Thinkingは、2025年度山東省高考（全国大学入学試験）で683点、理系分野で648点を獲得し、過去数年間の985大学の入学点数の大半を上回った。
• AIMEテストSeed1.6-AdaCoTはAIMEテストにおいて90%のCoTトリガー率を達成し、これはSeed1.6-FullCoTと同等の性能である。
• BeyondAIMEテストSeed 1.6-Thinkingは、並列デコーディングを実装した後、BeyondAIMEテストのスコアを8ポイント向上させた。
• JEE AdvancedテストSeed1.6-Thinkingは、JEE Advancedテストでインド国内トップ10のスコアを獲得し、数学テストではすべての問題に正解しました。

Seed 1.6プロジェクトのアドレス

• プロジェクト公式サイト：https://exp.volcengine.com/ark?model=doubao-seed-1-6-250615

Seed 1.6の応用シナリオ

• 教育このシステムは、生徒一人ひとりに合わせた学習指導を提供し、思考の深さを自動的に調整し、詳細な問題解決手順とフィードバックを提供し、試験の解答を処理し、正確に採点します。
• コンテンツ作成高品質なコピーを生成し、長文テキストの作成をサポートし、デザイナーに創造的なインスピレーションと最適化の提案を提供し、コンテンツ作成の効率を向上させます。
• スマートオフィス長文の文書を自動的に分析し、重要な情報を抽出して要約を作成するほか、日常的なオフィス業務を処理するインテリジェントなアシスタントとして機能し、オフィスの効率性を向上させます。
• 健康管理このシステムは、テキストと画像を組み合わせて医師の診断を支援し、分析レポートを提供し、医学文献から重要な情報を抽出し、医学研究と臨床意思決定をサポートします。
• インテリジェントな顧客サービス問題の複雑さに基づいて思考の深さを自動的に調整し、解決策を提示し、ユーザーの感情を分析し、顧客サービス体験を向上させます。