360Zhinao2-7B - 360は、自社開発の360スマートブレイン大型モデルのアップグレード版を発表しました。 - AiBoss

360Zhinao2-7Bとは何ですか？

360Zhinao2-7Bは、360が独自開発した大規模AIモデル「360 Brain 7B」のアップグレード版であり、基本モデルと、コンテキストの長さが異なるチャットモデルの両方を包含しています。360Zhinao2-7Bモデルは、360Zhinao1-7Bを大幅にアップデートしたもので、新しい多段階トレーニング手法と優れたデータ処理戦略を採用することで、中国語と英語の互換性と数学的推論能力を向上させています。国内外の同規模のオープンソースモデルの中で、360Zhinao2-7Bは中国語能力、7B IFEvalの指示への準拠、複雑な数学的推論能力においてトップクラスの評価を得ています。また、長文の微調整能力も、様々な長文ベンチマークで上位にランクインしています。

360Zhinao2-7Bの主な機能

言語の理解と生成中国語と英語のテキストを理解・生成することができ、様々な言語処理タスクに適しています。
チャットスキル流暢で適切かつ正確な対話応答の生成をサポートする、強力なチャット機能を提供します。
複数のコンテキスト長のサポートコンテキストの長さが異なるチャットモデルは、4Kから360Kまでのさまざまな長さの会話履歴を処理できます。
数学的論理的推論彼らは数学の問題解決能力と論理的思考力に優れており、複雑な数学の問題にも対応できる。
多言語対応このモデルは中国語に加えて英語もサポートしており、異なる言語のデータセットでの学習と推論を可能にする。
ビジネスアプリケーション商用利用は無料でサポートされており、教育、医療、高度な顧客サービスなど、さまざまなビジネスシーンに適しています。

360Zhinao2-7Bの技術原理

大規模な事前トレーニング：
- 2段階トレーニング方法まず、大規模で区別のないデータセットで学習を行い、次に、学習の第2段階に向けて、高品質データの割合を増やしていきます。
- 大量のデータを用いたトレーニングモデルのトレーニングは、第1段階で10兆トークン、第2段階で1000億トークンを用いて行われます。
トランスフォーマーアーキテクチャTransformerアーキテクチャに基づいた深層学習モデルであり、自然言語処理タスクで広く利用されている。
自己注意機構このモデルは、自己注意機構を用いて入力シーケンス内の各要素を処理することで、単語やフレーズ間の複雑な関係性を理解することを可能にする。
コンテキストモデリングチャットモデルは、長さの異なるコンテキストをサポートし、会話履歴に基づいて応答を生成できるため、優れたコンテキストモデリング機能を備えている必要がある。
最適化戦略：
- 学習率スケジューリング学習率スケジューリング戦略（コサインアニーリングなど）を用いて、トレーニングプロセスを最適化します。
- 複合精密訓練トレーニング効率を向上させ、メモリ使用量を削減するために、BF16（Brain Floating Point 16）などのハイブリッド精密トレーニング技術を採用しています。

プロジェクト住所：360Zhinao2-7B

GitHubリポジトリ：https://github.com/Qihoo360/360zhinao2
ハギングフェイスモデルライブラリ：https://huggingface.co/collections/qihoo360/360zhinao2

360Zhinao2-7Bの応用シナリオ

インテリジェントな顧客サービス自動化された顧客相談サービスを提供し、ユーザーからの質問に答え、顧客サービスの効率性を向上させる。
教育支援教材として、言語学習を支援し、学生が複雑な概念を理解するのに役立ちます。
コンテンツ作成記事の執筆やクリエイティブなコピーの作成など、文章作成やコンテンツ制作を支援します。
言語翻訳機械翻訳ツールとして、異なる言語間での自動翻訳を可能にします。
情報検索検索エンジンを改善し、より正確な検索結果と情報推奨を提供する。