WeLM - WeChatが独自開発した大規模言語モデル - AiBoss

WeLMとは何ですか？

WeLM（WeChat Language Model）は、WeChatが開発した大規模言語モデルで、現在はバージョンV4です。WeChatエコシステム向けに特別に設計されたこのモデルは、約80～130バイトのパラメータを持ち、スパースなMoEアーキテクチャを採用することで、低コストと高効率性を重視しています。WeLMは128Kの長文コンテキストをサポートし、グループチャット、モーメンツ、その他のソースからエコシステムデータを自然に取得できます。推論プロセスを隠蔽するために隠蔽復号技術を使用しており、迅速な応答を可能にしています。WeLMは一般公開されておらず、WeChatのAIエージェントであるXiaoweiのインテリジェントな基盤として機能しています。

WeLMの主な機能

WeChatエコシステム内の独占的なインテリジェントサービスWeLMは、WeChatのAIエージェント「Xiaowei」の基盤となるモデルとして、WeChatのエコシステムに深く組み込まれており、グループチャットメッセージの要約、モーメンツの更新情報の閲覧、友人のメッセージへの返信、公式アカウントや動画アカウントからのコンテンツの理解といったシナリオをサポートしています。
低コストで高効率な推論高度に疎なMoE（ハイブリッドエキスパート）アーキテクチャを採用し、GQA、KV-Mirror、マルチトークン予測などの技術と組み合わせることで、推論コストを大幅に削減し、WeChatの10億人を超えるデイリーアクティブユーザーからの高頻度呼び出しをサポートします。
高速応答（隠しデコード）隠蔽型デコード技術は推論プロセスを隠蔽することで、出力品質を確保しつつ、低遅延応答を実現し、ユーザーの待ち時間を短縮します。
長文の文脈理解128Kの超長文コンテキストをサポートし、グループチャットの記録、モーメント、お気に入り、いいねなどのエコシステムデータを自然に取得することで、正確な意図認識とパーソナライズされた返信を実現します。
マルチタスクコンテンツの要約、対話の生成、情報の検索、パーソナライズされたレコメンデーションなど、さまざまなタスクを網羅しており、WeChatにおけるAI機能の中核エンジンとなっている。

WeLMの使い方

公式ポータルにアクセスしてくださいアクセスポイントを見つけるには、WeChatで「Xiaowei」を検索してください。
WeChatのアップデート「Xiaowei」ベータ版プッシュ通知または正式リリース版を受信するには、WeChatを最新バージョンにアップグレードしてください。
入口を見つけるWeChatのチャットリスト、上部の検索バー、または発見ページで「Xiaowei」AIエージェントのエントリを探してください。
対話を開始する「Xiaowei」をクリックすると、質問や作業要件をテキストまたは音声で直接入力できます。
承認されたデータパーソナライズされた、状況に応じた応答を受け取るために、グループチャット履歴、モーメント、お気に入りなどのエコシステムデータへのアクセスを、プロンプトに従って承認してください。
タスクを実行するグループチャットの要約、コンテンツの推薦、スクリプトの生成、情報検索などのタスクには「Xiaowei」を使用してください。
インタラクションを最適化する「シャオウェイ」からのフィードバックに基づき、結果の質を向上させるため、複数回の対話を通じて指示内容が洗練されます。

WeLMの主な利点

WeChatエコシステムのネイティブ統合WeLMは、WeChatエコシステム専用に設計された「専用ミニモデル」です。グループチャット、モーメンツ、公式アカウント、動画アカウント、お気に入りなどからコンテキストデータを自然に取得し、ユーザーが手動で外部ツールをアップロードしたり承認したりする必要がなく、ユーザーの意図をより正確に理解できます。
徹底的なコスト管理このシステムは、非常に疎なMoEアーキテクチャ（超高密度モデルではない）を採用し、GQA、KV-Mirror、マルチトークン予測などの技術と組み合わせることで、推論コストを大幅に削減し、WeChatの10億人を超えるデイリーアクティブユーザーからの高頻度呼び出しをサポートします。
迅速な対応体験隠蔽復号技術を用いて推論プロセスを隠蔽することで、出力品質を確保しながら低遅延を実現し、ユーザーの待ち時間を回避できるため、WeChatのインスタントメッセージングのシナリオに適しています。
極めて長い文脈記憶128Kの長文テキストをサポートし、グループチャットの要約、モーメントのまとめ、パーソナライズされたおすすめ情報など、長文テキストの処理において優れた性能を発揮します。
安定性と制御性に優れたクローズドアーキテクチャ一般公開されておらず、WeChat内部のシナリオに対応することに重点を置いているため、安定性、セキュリティ、エコシステムの一貫性において自然な優位性を持っている。

WeLMの類似製品の比較

寸法	WeLM	ByteDance
位置	WeChatエコシステム専用クローズドモデル	ByteDanceの汎用AIアシスタント（全プラットフォーム対応）
パラメータサイズ	80B-130B（「小型モデル」）	数千億人のユーザーを抱える汎用大型モデル
建築	極めて疎なMoEにより、大幅なコスト削減を実現	高密度＋MoEブレンド、総合性能を追求
データ融合	WeChatエコシステムデータ（グループチャット、モーメンツなど）をネイティブに取得する	ユーザーは外部データを手動でアップロードまたは承認する必要があります。
対応戦略	Hidden Decodingは、スピード重視のパズルゲームです。	思考過程の表示をサポートし、より深い思考を可能にする。
オープンさ	一般公開されておらず、WeChat内でのみ利用可能です。	独立したアプリ、ウェブサイト、APIは完全にオープンです。
主要目標	低コスト、低遅延、高安定性、そして充実したエコシステム	汎用機能、マルチモーダル、大規模ユーザーカバレッジ

WeLMの応用シナリオ

グループチャットの要約WeLMは、WeChatグループチャット内の膨大な量の過去のメッセージを自動的に分類し、重要な情報、主要な決定事項、およびToDoリストを正確に抽出することで、ユーザーがグループチャットの状況を迅速に把握できるよう支援します。
WeChatモーメンツインタラクションアシスタントWeLMは、友人のモーメント投稿やユーザーと友人との関係に基づいて、適切でパーソナライズされたコメントや返信の提案をインテリジェントに生成できます。
生態学的コンテンツに関するQ&AWeLMは、WeChat公式アカウントの記事、動画アカウント、その他のエコシステムコンテンツを詳細に分析し、記事の詳細、動画のテーマ、その他の側面に関するユーザーの質問に即座に回答することができます。
個人記憶の想起WeLMは、チャット履歴、お気に入り、いいねなど、データベース間の連携をサポートしており、ユーザーが重要な過去の情報を迅速かつ正確に検索・取得するのに役立ちます。
インテリジェントなスクリプト生成WeLMは、現在のチャットの状況、友人関係、個人のスタイルを組み合わせて、ユーザーに適切で自然な返信やコミュニケーション手法を提案することができます。