Titans - Googleの新しいニューラルメモリアーキテクチャ - AiBoss

タイタンとは何ですか？

Titansは、Googleが開発した新しいニューラルネットワークアーキテクチャで、Transformersが長いデータシーケンスを処理する際に抱えるメモリのボトルネックを克服します。Titansは、人間の脳の記憶メカニズムを模倣したニューラル長期記憶モジュールを導入することで、予期せぬ出来事を記憶する能力を高めています。Titansアーキテクチャには、MAC（メモリをコンテキストとして扱う）、MAG（メモリをゲートとして扱う）、MAL（メモリをレイヤーとして扱う）の3つのバリアントがあり、それぞれ異なる方法でメモリモジュールを統合しています。実験結果によると、Titansは言語モデリング、常識推論、時系列予測などのタスクにおいて、Transformersや最新の線形RNNモデルを凌駕し、特に200万を超えるコンテキストウィンドウを持つ長いシーケンスの処理において優れた性能を発揮します。また、並列計算機能も備えており、学習効率を向上させています。

タイタンの主な機能

長系列データ処理Titanは、200万以上のコンテキストウィンドウを持つ長大なシーケンスデータを効率的に処理できます。長大なシーケンス処理においても高い精度を維持します。例えば、「干し草の山から針を探す」ようなタスクでは、シーケンス長が2kから16kに増加しても、精度は約90%を維持します。
メモリ管理神経系の長期記憶モジュールに基づき、過去の情報を記憶することは、長期的な依存関係を必要とするタスク（言語モデリングや常識的推論など）にとって極めて重要である。本研究は、注意機構を組み合わせて短期記憶を処理し、現在の状況における直接的な依存関係に焦点を当てる。
タスクの多様性：言語モデリング、常識推論、時系列予測、ゲノムモデリングなど、さまざまなタスクで優れた性能を発揮し、幅広い応用可能性を示している。
トレーニング効率Titansのニューラル長期記憶モジュールは並列コンピューティングをサポートしており、トレーニング効率を大幅に向上させ、大規模データの処理速度を向上させます。推論フェーズでは、長期記憶を迅速に取得して活用することで、モデルの応答速度を改善します。

タイタンズの技術原則

神経長期記憶モジュール
- メモリ符号化このアプローチでは、オンラインメタモデルを活用して、テスト中に特定のデータを記憶したり忘れたりする方法を学習します。このモデルは過去の情報をニューラルネットワークのパラメータにエンコードすることで、トレーニングデータから無関係な詳細を記憶する必要性を回避します。
- サプライズ測定人間の脳の記憶の原理から着想を得て、入力の「驚き度」は、その勾配を測定することによって決定されます。勾配が大きいほど、入力はより予期せぬものであり、記憶しやすくなります。
- 運動量機構勢いメカニズムを導入することで、短期的な驚きが長期記憶に蓄積され、モデルが情報の流れを順序立ててより適切に処理できるようになる。
- 忘却メカニズム忘却メカニズムに基づき、このモデルは不要になった古い記憶を消去し、メモリのオーバーフローを防ぎ、限られたメモリ容量を管理することができる。
建築設計
- MAC（メモリをコンテキストとして利用する）注意機構は、現在の入力のコンテキストとして長期記憶と持続記憶とともに供給され、モデルが過去の情報と現在のコンテキストの両方を考慮できるようにする。
- MAG（記憶は扉）ゲーティング融合は、メモリモジュールとスライディングウィンドウアテンションの2つのブランチで実装されます。長期記憶と短期記憶の利点を組み合わせることで、ゲーティング機構を用いて情報フローを動的に調整します。
- MAL（メモリ・アズ・レイヤー）メモリモジュールは独立したレイヤーとして扱われ、履歴情報は圧縮されてからアテンション機構に入力されます。この階層的な情報処理により、モデルの表現力が向上します。
並行トレーニング行列演算（行列乗算）に基づいて最適化されており、並列計算をサポートし、学習効率を大幅に向上させます。

タイタンズのプロジェクト住所

arXiv技術論文：https://arxiv.org/pdf/2501.00663v1

Titansの応用シナリオ

言語モデリングとテキスト生成記事や物語などの、内容の一貫性と論理性を維持しながら、筋の通った質の高い長文テキストを生成します。
常識的推論および質問応答システム複雑な質問を長い文脈の中で理解し、推論することができ、正確な回答を提供することができ、背景知識を必要とする質問応答タスクに適している。
時系列予測金融市場、天候の変化、交通の流れなどを予測し、長期的な傾向を捉え、予測精度を向上させることができる。
ゲノミクスとバイオインフォマティクスDNA配列の解析、タンパク質構造の予測、生物医学分野における長鎖配列データの処理、そして科学的発見の支援。
映像および音楽処理: 長尺の映像コンテンツを理解し、制作し、音楽を作成し、一貫性とスタイルの統一性を維持する。