Self-Lengthen - アリババのQianwenが発表した、出力長を改善するための反復トレーニングフレームワーク

自己伸長とは何ですか？

Self-Lengthenは、アリババのQianwenチームが開発した革新的な反復型トレーニングフレームワークで、大規模言語モデル（LLM）の長文生成能力を向上させます。このフレームワークは、ジェネレーターとエキスパンダーという2つの役割に基づいています。ジェネレーターは最初の応答を生成し、エキスパンダーはその応答を分割・拡張してより長いテキストを生成します。このプロセス全体が継続的に反復され、モデルがより長い出力を処理できるように徐々にトレーニングされます。Self-Lengthenは追加のデータや独自のモデルを必要とせず、LLMが持つ固有の知識とスキルを活用することで、長文生成におけるトレーニングの欠点を効果的に解消します。

自己延長の主な機能

• 出力長さを増やすこれにより、LLMは従来の学習方法よりも長いテキスト出力を生成できるようになる。
• コンテンツの品質を維持するテキストの長さを長くしながらも、生成されるコンテンツの一貫性と関連性を維持、あるいは向上させる。
• 追加データは不要ですこれは外部データソースや独自のモデルに依存するものではなく、モデルに内在する知識とスキルに基づいています。
• 反復トレーニングモデルの長文処理能力は、反復的なプロセスを通じて徐々に向上していく。
• 柔軟性これは、文学作品の創作や学術研究など、さまざまな長文生成タスクに適用できます。

自己延長の技術原理

• ジェネレーターとエクステンダー：
  • ジェネレータ：最初の短いテキスト応答を生成する責任を負います。
  • エキスパンダージェネレーターの出力を入力として受け取り、それを長いテキストに展開します。
• 反復的なトレーニングプロセス：
  • 繰り返し処理を行うことで、ジェネレーターとエキスパンダーの長文テキスト処理能力は徐々に向上する。
  • 各反復処理において、エキスパンダーはジェネレーターの出力をより長くするように拡張し、より長い出力を用いてジェネレーターを微調整し、より長いテキストを直接生成します。
• 指導の強化自己学習型の手法を用いてトレーニング手順を拡張・多様化し、モデルが長文を生成する際の誘導能力を向上させる。
• 二相膨張法：
  • フェーズ1エキスパンダーは、発電機の出力の前半部分を拡張する。
  • フェーズ2拡張の第一段階の結果は、残りの部分の拡張を導き、それによってテキスト全体が拡張される。
• モデルの微調整: 拡張機能ベースのジェネレーターとエクステンダーを使用してより長いテキストを生成することで、今後の反復処理でより長いテキストを生成しやすくなります。
• 品質管理このシステムは、ルールと評価メカニズムを用いて、生成される長文の品質を保証し、繰り返しや無意味な拡張を回避します。

自己延長プロジェクトの住所

• GitHubリポジトリ：https://github.com/QwenLM/Self-Lengthen
• arXiv技術論文：https://arxiv.org/pdf/2410.23933

自己延長の応用シナリオ

• クリエイティブライティング小説、物語、脚本などの長編文学作品を作成するために使用される。
• 学術研究これは、学者や研究者が学術論文、技術報告書、研究提案書を作成する際に役立ちます。
• ニュースメディアニュース記事、詳細な記事、特集記事の執筆において、包括的なコンテンツを提供するために使用されます。
• 教育コンテンツ開発教育教材、コースコンテンツ、教科書を作成し、詳細な教育リソースを提供する。
• ビジネスコピーライティングマーケティングコピー、広告コンテンツ、事業計画書など、様々なビジネス文書の作成。