通古大規模モデル - 華南理工大学が開発した古代書物のための大規模言語モデル - AiBoss

ツングースカ・モデルとは何ですか？

Tongguモデルは、華南理工大学の深層学習・視覚計算研究所（SCUT-DLVCLab）が開発したAI言語モデルで、古典中国語の処理に特化しています。白川2-7B-Baseプラットフォーム上で段階的に事前学習を行い、24億1000万件の古典中国語コーパスを用いて教師なし学習を実施し、古典中国語テキストから抽出した400万件の対話データを用いてファインチューニングを行っています。このモデルは、冗長性認識チューニング（RAT）技術を採用することで、古典中国語テキスト処理におけるパフォーマンスを効果的に向上させています。これにより、ユーザーは古典中国語文書をより容易に理解し、翻訳することができます。また、検索強化生成（CCU-RAG）技術により、知識集約型タスクにおける錯覚問題を軽減し、生成コンテンツの精度と信頼性を向上させています。

Tonggu大型モデルの主な機能

古典中国語の句読法Tongguモデルは、古典中国語のテキストに句読点を自動的に追加することができ、古代の書物によく見られる句読点の問題を解決し、ユーザーが内容をよりよく理解するのに役立ちます。
古典語および口語訳このモデルは、古典中国語と現代中国語間の双方向翻訳をサポートしており、難解な古代の文献を現代中国語に翻訳したり、その逆を行ったりできるため、ユーザーが古代の書籍を読んだり研究したりするのに便利です。
詩作Tongguモデルは、中国古典詩の規則と様式に準拠した詩を生成できます。ユーザーはニーズに応じてテーマやキーワードを指定することができ、モデルはそれに対応する詩を生成します。
古書の鑑賞このモデルは、古代の書物にある古典的な章を評価し、その文学的価値、歴史的背景、文化的意味合いを解釈することができ、ユーザーが古代の書物を深く研究するのに役立つ。
古代書籍の検索と質疑応答検索強化技術を組み合わせることで、通古ビッグデータモデルは古代書の内容を迅速に検索し、ユーザーの質問に正確な回答を提供することで、ユーザーが効率的に古代書の情報を入手できるよう支援します。
古代の書物の照合作業を支援するこのモデルは、古代の書籍における文章の誤り、欠落、その他の問題点を特定し、修復案を提示するとともに、古代の書籍の照合やデジタル化を支援することができる。

通谷大型模型の技術原理

基本モデルアーキテクチャTonggu Big Modelは、Baichuan 2-7B-Baseに基づいて段階的に事前学習されています。Baichuan 2-7B-Baseは、Tonggu Big Modelに基本的な言語理解および生成機能を提供する強力な事前学習済み言語モデルです。
教師なし増分事前学習このモデルは、24億1000万件の古代中国語テキストのコーパスを用いて、教師なし増分事前学習によって構築されました。これにより、モデルは古代テキストの言語スタイルと構造を学習することができ、その後の古代テキスト処理タスクの基礎が築かれました。
多段階の指示微調整Tongguモデルは、多段階の命令微調整技術を採用し、冗長性を考慮した微調整（RAT）手法を提案しています。これにより、ベースモデルの機能を維持しながら、下流タスクのパフォーマンスが向上します。命令微調整を通して、このモデルは古典中国語の翻訳や句読点処理といった、古代テキスト処理における特定のタスクにより適応できるようになります。
検索強化生成（RAG）技術Tongguの大規模モデルは、検索強化型生成（RAG）技術を組み合わせることで、知識集約型タスクにおける錯覚問題を軽減します。その核心となるアイデアは、情報検索とテキスト生成を組み合わせ、外部知識ベースから関連情報を取得し、それを文脈入力として言語モデルに与えることで、より正確で文脈に即した回答を生成することです。

通谷大型模型のプロジェクト住所

GitHubリポジトリ：https://github.com/SCUT-DLVCLab/TongGu-LLM
ハギングフェイスモデルライブラリ：https://huggingface.co/SCUT-DLVCLab/TongGu-7B-Instruct

Tonggu大型モデルの応用シナリオ

古文書の処理とデジタル化Tongguビッグデータモデルは、古典中国語と口語中国語の翻訳、句読点の修正、古代文献の検索といった機能をサポートし、古代文献を効率的に処理できます。また、テキストの誤りをインテリジェントに識別・修正することで古代文献の整理を支援し、古代文献のデジタル化効率を向上させます。
教育支援教師はこれを使って授業計画や授業用パワーポイント資料を作成したり、インタラクティブな授業活動をデザインしたりできます。生徒にとっては、古典中国語の翻訳、慣用句の説明、詩作などの機能が提供され、古典中国語のテキストをより深く理解するのに役立ちます。
文化の継承と普及通古大模型は、古代の書物を読む際の難しさを軽減し、より多くの人々が中国の伝統文化に触れ、理解することを可能にする。
学術研究Tongguビッグデータモデルは、古書の研究に強力な技術的支援を提供し、研究者が古書の内容を迅速に検索・分析することを可能にする。