TeleChat3 - 中国電信の教育部セマンティックモデル（数百億のパラメータを持つ）

TeleChat3とは何ですか？

TeleChat3は、中国電信のTeleAI研究所が独自開発した、数百億個のパラメータを持つきめ細かいMoEセマンティックモデルです。国産の計算能力を用いて学習されており、複数ターン対話、テキスト作成、コード生成などのタスクをサポートしています。このモデルは1050億個のパラメータ（実際にアクティブ化されているのは47億個）を含み、192個のルーティングエキスパートを通じて正確な知識検索を実現し、ゲームデザインやWeb開発などの複雑なタスクの処理に優れています。その最大の特長は、サプライチェーン全体にわたって完全に国産技術を採用し、93%という高い学習効率を達成している点です。インテリジェントな顧客サービスや政府機関のQ&Aなどのシナリオに適用されており、360億個のパラメータを持つ高密度モデル版がオープンソース化されています。

TeleChat3の主な機能

• コード生成と最適化タスク要件を効率的に分解し、複数のコード機能を統合して、完全かつ実行可能なコードを一度に生成できます。コード補完、コード修正、ウェブサイトやウェブゲームの生成など、さまざまなタスクを実行でき、手動デバッグにかかる時間を大幅に削減し、スムーズな動作と正確な結果を提供します。
• 知識問題と論理的推論知識ベースの質疑応答や論理推論といった分野における能力が向上したことで、ユーザーの質問をより的確に理解し回答できるようになり、正確な知識情報や論理推論結果を提供できるようになりました。
• テキスト作成と意味理解テキスト作成機能を備え、高品質なテキストコンテンツを生成できるだけでなく、意味理解において的を絞った最適化が施されているため、ユーザーが入力したテキスト情報をより的確に理解することが可能です。
• ロールプレイングと複数ターンの対話ロールプレイング機能をサポートしており、ユーザーが定義した役割やシナリオに基づいた対話が可能です。複数ターンにわたる対話では、過去の情報を自動的に処理し、会話の一貫性と整合性を維持します。
• 「思考モード」のご紹介対話テンプレートに特定のガイドシンボルを追加することで、モデルは中間推論ステップを自動的に生成することができ、複雑なタスクにおける論理性と精度を大幅に向上させ、AIの推論プロセスを追跡可能にします。

TeleChat3の技術的原則

• モデルアーキテクチャTeleChat3は、きめ細かなエキスパート混合（MoE）アーキテクチャを採用しています。例えば、TeleChat3-105B-A4.7-Thinkingモデルは、1つの共有エキスパートと192のルーティングエキスパートで構成され、毎回4つのエキスパートがアクティブ化されます。
• 推論メカニズムTeleChat3は長文テキスト推論の最適化をサポートしています。NTK対応の外挿とアテンションスケーリングにより、推論時に短い長さでファインチューニングされたモデルをより長い長さに外挿することができます。
• トレーニングと最適化一連のモデルは、上海臨港の国内1万カロリー計算能力プールなど、国内の計算能力のみを用いて完全に学習されており、基本データ量は15Tトークンです。同時に、これらのモデルはAscend Atlas 800T A2トレーニングサーバーとAscend MindSporeフレームワークへの高度な適応を実現しています。
• 思考パターンTeleChat3は思考モードを完全にサポートしており、チャットテンプレートに特定のガイドシンボルを追加することで、複雑なタスクにおける論理性と正確性を向上させ、推論プロセスを生成します。
• 位置符号化と注意機構このモデルは、回転埋め込みを用いてトークンに位置情報を注入します。クエリ（Q）とキー（K）を回転させることで、シーケンスの順序依存性を捉えます。同時に、因果的自己注意機構をサポートし、各位置での予測が直前のトークンのみに依存するようにします。
• 非線形増強このモデルには多層パーセプトロン（MLP）モジュールが含まれており、アテンション層の出力に対して非線形変換を実行することで、モデルの表現力を向上させます。

TeleChat3プロジェクトのアドレス

• GitHubリポジトリ：https://github.com/Tele-AI/TeleChat3
• ModelScope：
  • https://www.modelscope.cn/models/TeleAI/TeleChat3-105B-A4.7B-Thinking
  • https://www.modelscope.cn/models/TeleAI/TeleChat3-36B-Thinking

TeleChat3の応用シナリオ

• コード生成および開発支援コード補完、コード修正、ウェブサイトやウェブゲームの生成などに利用でき、開発者がプログラミング作業を迅速に完了させ、開発効率を向上させるのに役立ちます。
• 知識に関する質疑応答と教育知識クイズや論理的推論といったタスクにおいて優れた性能を発揮し、ユーザーに正確な知識情報を提供する。教育分野に適しており、学習支援や質問への回答に役立つ。
• テキスト作成とコンテンツ生成高品質なテキストコンテンツを生成できるため、執筆、コピーライティング、ニュース報道など、さまざまな場面で活用でき、多様なテキスト作成ニーズに対応できます。
• 複数回の対話と顧客サービス複数ターンの対話に対応し、履歴情報を自動的に処理し、対話の連続性を維持できるため、インテリジェントな顧客サービスや仮想アシスタントなどのシナリオに適しています。
• ロールプレイングとインタラクティブなエンターテイメントロールプレイング機能をサポートしており、ユーザーが定義した役割やシナリオに基づいた対話が可能で、ゲーム、インタラクティブエンターテインメント、その他の分野に応用できます。