ニュース
テンセントがHy4のプレビュー版を公開し、モデルの重みを公開
Tencent HyチームはHy4のプレビュー版をリリースしました。これは、合計7700億個のパラメータとトークンごとに490億個のパラメータを有効化するMoEアーキテクチャを採用し、100万個のトークンコンテキストをサポートし、標準規格とFP8ウェイトを開放しています。
Tencent HyチームはHy4のプレビュー版をリリースし、標準バージョンとFP8バージョンの両方でモデルの重みを利用できるようにしました。このモデルはハイブリッドエキスパートアーキテクチャを採用しており、合計7700億個のパラメータを含み、各トークンは490億個のパラメータをアクティブ化し、100万個のトークンコンテキストをサポートしています。
本プロジェクトはApache 2.0ライセンスに基づいてライセンスされています。開発チームは、これはまだ初期プレビュー版であり、既知の制限事項は開示済みであることを強調しました。公式の評価結果は、ベンダー独自のテスト結果に基づいて解釈されるべきです。