TokenSwift - 超長文テキストの生成を高速化するためのフレームワーク。90分以内に10万個のトークンテキストを生成できます。 - AiBoss

TokenSwiftとは何ですか？

TokenSwiftは、北京総合人工知能研究所のチームが開発した、超長文テキスト生成高速化フレームワークです。従来の自己回帰モデルでは約5時間かかっていた10万トークンのテキスト生成を90分以内に3倍高速化しつつ、ロスレスな生成品質を維持します。TokenSwiftは、マルチトークン生成やトークン再利用、動的なKVキャッシュ更新、コンテキストペナルティメカニズムなどの技術により、モデル読み込みの遅延を削減し、キャッシュ更新時間を最適化し、生成の多様性を確保します。1.5B、7B、8B、14BのMHAおよびGQAモデルなど、さまざまなサイズとアーキテクチャのモデルをサポートしています。

TokenSwiftの主な機能

超長文テキストの生成を加速するTokenSwiftは、非常に長いテキストの生成時間を大幅に短縮できます。例えば、従来の自己回帰モデルでは10万トークンを含むテキストを生成するのに5時間近くかかるのに対し、TokenSwiftではわずか90分で済み、3倍の速度向上を実現し、生成効率を大幅に向上させます。
損失のない加速TokenSwiftは処理速度を向上させながらも、元のモデルの出力品質を維持し、生成されるテキストの品質と多様性を保証します。
複数のモデルに対応TokenSwiftは、1.5B、7B、8B、14Bモデルをはじめとする、さまざまなサイズとアーキテクチャのモデルをサポートしており、マルチヘッドアテンション（MHA）およびグループクエリアテンション（GQA）アーキテクチャにも対応しています。

TokenSwiftの技術原則

複数のトークンの並列生成とトークンの再利用TokenSwiftはMedusaなどの手法を取り入れ、線形レイヤーを追加することで、単一の順伝播処理で複数のドラフトトークンを同時に生成できるようにしています。生成されたテキスト内のnグラム頻度情報に基づいて、システムは高頻度フレーズを自動的に取得して再利用し、モデルの再読み込み回数をさらに削減して全体的な効率を向上させます。
動的KVキャッシュ更新戦略TokenSwiftは、キーバリュー（KV）キャッシュの管理において、動的な更新戦略を採用しています。システムは生成プロセス中に初期KVキャッシュを保持し、その後、トークンの重要度に基づいて、後続のキャッシュを順序立てて置き換えます。
ツリーベースの複数候補トークン検証生成された結果とターゲットモデルの予測との一貫性を確保するため、TokenSwiftはツリー構造のアテンションメカニズムを導入しています。複数の候補トークンの組み合わせを含むツリー構造を構築し、並列検証を行うことで、最も長く効果的なn-gramが最終出力としてランダムに選択され、多様性を高めながらロスレスな生成プロセスを実現します。
状況に応じた罰則戦略重複生成の問題をさらに軽減するために、TokenSwiftはコンテキストペナルティ方式を採用しています。生成プロセス中に、最近生成されたトークンにペナルティが適用され、モデルは次のトークンを選択する際に、より多様な出力を優先するようになり、重複を効果的に削減します。

TokenSwiftのプロジェクトアドレス

プロジェクト公式サイト：https://bigai-nlco.github.io/TokenSwift/
GitHubリポジトリ：https://github.com/bigai-nlco/TokenSwift
ハギングフェイスモデルライブラリ：https://huggingface.co/TokenSwift
arXiv技術論文：https://arxiv.org/pdf/2502.18890

TokenSwift アプリケーションシナリオ

コンテンツ作成とコピーライティングTokenSwiftは、短時間で高品質なテキストコンテンツを生成できます。これにより、コンテンツ制作者、広告代理店、メディア組織の効率を大幅に向上させることができます。
インテリジェントな顧客サービスとチャットボットインテリジェントな顧客サービスやチャットボットにおいて、TokenSwiftは詳細な回答を迅速に生成できるため、複雑な質問や長文の説明に対応する際に、より効率的で一貫性のある会話体験を提供できます。
学術研究と論文執筆学術研究や論文執筆において、TokenSwiftは研究者が文献レビュー、実験報告書、論文草稿などを迅速に作成するのに役立ち、時間と労力を大幅に節約できます。
コード生成とプログラミング支援プログラミング分野では、TokenSwiftは複雑なコードスニペットやドキュメントを生成するために使用でき、開発者がコードを迅速に構築および最適化するのに役立ちます。