KuaiFormer - Kuaishouが開発した、Transformerをベースにした検索フレームワーク。

KuaiFormerとは何ですか？

KuaiFormerは、Kuaishouの技術チームが大規模コンテンツ推薦システム向けに開発したTransformerベースの検索フレームワークです。検索プロセスを再定義することで、従来のスコア推定タスクからTransformer駆動型の「次アクション予測」パラダイムへと移行し、リアルタイムの興味関心を効果的に捉え、複数の興味関心を抽出することで、検索パフォーマンスを大幅に向上させています。KuaiFormerは、マルチインタレストクエリトークンと適応型シーケンス圧縮メカニズムを採用することで、数億件の候補セットに対して安定した学習を実現しています。2024年5月にはKuaishouアプリのショートビデオ推薦システムに統合され、4億人以上のデイリーアクティブユーザーにサービスを提供し、1日の平均ユーザー利用時間を大幅に増加させています。

KuaiFormerの主な機能

• 複数関心事項の抽出ユーザーの多様な興味を捉えるために複数のクエリトークンを導入することで、モデルはユーザーの複雑な興味をよりよく理解し、予測することができる。
• 適応型シーケンス圧縮長尺シーケンスモデリングの効率を向上させるため、KuaiFormerは、最新のビデオ情報を保持しつつ、以前に視聴されたビデオシーケンスを圧縮することで入力シーケンスの長さを短縮する適応型シーケンス圧縮メカニズムを設計しています。
• 安定したトレーニング方法KuaiFormerは、独自のソフトマックス学習目標とLogQ補正法を用いて、数億件もの候補データセットに直面した場合でも、モデルを安定的に学習させ、パフォーマンスを維持します。
• リアルタイムのおすすめ情報ユーザーのリクエストにリアルタイムで応答し、数十億もの選択肢の中から、ユーザーのリアルタイムの関心に関連する候補アイテムを迅速に選択します。

KuaiFormerの技術原理

• トランスフォーマーアーキテクチャ自己注意機構に基づいて、ユーザー行動シーケンスにおける複雑な依存関係を捉える。
• Next Action PredictionKuaiFormerは、検索プロセスをユーザーの次の行動を予測するプロセスへと変革し、ユーザーのリアルタイムの興味関心をより正確に把握するのに役立ちます。
• マルチインタレストクエリトークンBERTの[CLS]トークンに触発され、複数の学習可能なクエリトークンを導入し、それらをマルチインタレストトレーニング戦略と組み合わせることで、過去のアイテムシーケンスからさまざまなユーザーの興味表現を抽出します。
• 適応型アイテム圧縮メカニズムKuaiFormerは、以前のプロジェクトのシーケンスをグループ化して圧縮することで入力シーケンスの長さを短縮すると同時に、最新のプロジェクトについてはきめ細かなモデリングを実行します。
• Smooth In-Batch Softmax LossKuaiFormerは、学習目標としてバッチ内ソフトマックスを使用し、サンプリングバイアスを補正するためにLogQ補正法を適用します。

Kuai旧プロジェクト住所

• arXiv技術論文：https://arxiv.org/pdf/2411.10057

KuaiFormerの応用事例

• ショートビデオのおすすめKuaishouアプリのショート動画推薦システムは、ユーザーの過去の視聴行動や興味関心を分析し、ユーザーが興味を持ちそうな新しい動画を推薦します。
• コンテンツ発見コンテンツ発見という観点から見ると、ユーザーが新しいコンテンツを探索・発見するのに役立ち、コンテンツの多様性と斬新さを高め、ユーザーエクスペリエンスを向上させます。
• パーソナライズされたおすすめ情報ユーザーの多面的な興味関心を把握することで、よりパーソナライズされたおすすめ情報を提供し、個々のニーズに応えることができます。
• リアルタイム推薦システムユーザーの行動変化にリアルタイムで対応し、レコメンデーションリストを迅速に更新するため、リアルタイムでのレコメンデーション更新が必要なシナリオに適しています。
• 大規模データ処理数十億もの動画を含む動画ライブラリを扱う場合、KuaiFormerの高い効率性と拡張性は、大規模データ処理に理想的な選択肢となります。