NoteLLM - 小紅書（Xiaohongshu）が発表した、メモ推薦のためのマルチモーダル大規模モデルフレームワーク。 - AiBoss

NoteLLMとは何ですか？

NoteLLMは、Xiaohongshuが開発した、ノート推薦のためのマルチモーダル大規模言語モデルフレームワークです。生成されたノートの圧縮埋め込みと自動タグカテゴリ生成に基づき、NoteLLMは大規模言語モデル（LLM）の強力な意味理解能力を活用し、対照学習と指示微調整技術を組み合わせることで、ノート推薦の精度と関連性を向上させています。NoteLLM-2は、マルチモーダル入力を導入することでNoteLLMを基盤とし、エンドツーエンドの微調整戦略に基づき、ビジュアルエンコーダとLLMを組み合わせることで、見落とされたビジュアル情報の問題に対処しています。NoteLLM-2は、マルチモーダル表現能力をさらに強化し、マルチモーダル推薦タスクのパフォーマンスを大幅に向上させるために、マルチモーダルコンテキスト学習（mICL）と遅延融合という2つのメカニズムを提案しています。このフレームワークは、Xiaohongshuプラットフォーム上で強力な推薦能力を発揮し、実際の推薦システムに適用されています。

NoteLLMの主な機能

タグカテゴリを自動生成ノートの埋め込み品質を向上させるために、ノートにタグとカテゴリを生成します。
ユーザーエクスペリエンスを向上させるより精度の高いレコメンデーションに基づいて、プラットフォーム上でのユーザーエンゲージメントと満足度を向上させることができます。
マルチモーダルノートの推奨事項テキスト情報と画像情報を組み合わせることで、より包括的なメモ表現を生成でき、マルチモーダルなレコメンデーションの精度と関連性を向上させることができる。
視覚情報無視の問題を解決するマルチモーダルコンテキスト学習（mICL）と後期融合メカニズムに基づき、視覚情報を表現する能力が向上する。

NoteLLMの技術原則

Note Compression Promptメモの内容を特別なタグに圧縮し、同時にラベルとカテゴリを生成するための、専用のプロンプトテンプレートを設計します。
対照学習ユーザー行動データにおける共起メカニズムに基づいて、関連するノートペアを構築し、比較学習によってモデルを訓練し、ノート埋め込みのセマンティック表現を強化します。
指示チューニング指示の微調整に基づいて、LLMはタスクの要件をよりよく理解し、高品質のラベルとカテゴリを生成できます。
マルチモーダルコンテキスト学習（mICL）マルチモーダルコンテンツは、視覚部分とテキスト部分に分離され、それぞれが2つのモーダル圧縮語に圧縮されます。各モーダル間の注意は、対照学習に基づいてバランスが取られます。
後期融合LLMの出力段階で視覚情報が直接融合されるため、より多くの元の視覚情報が保持され、早期融合によって引き起こされる視覚情報の損失が回避されます。
エンドツーエンドの微調整既存のLLMとビジュアルエンコーダーを組み合わせ、事前学習によるアライメントを必要とせずに、エンドツーエンドの微調整に基づいた効率的なマルチモーダル表現モデルをカスタマイズできます。

NoteLLMプロジェクトのアドレス

GitHubリポジトリ：https://github.com/Applied-Machine-Learning-Lab/NoteLLM
arXiv技術論文：
- NoteLLM：https://arxiv.org/pdf/2403.01744
- NoteLLM2：https://arxiv.org/pdf/2405.16789

NoteLLMの応用シナリオ

パーソナライズされたメモのおすすめユーザーの興味や行動に基づいて、膨大な数のメモの中から関連性の高いコンテンツを正確に推薦し、ユーザーの発見体験を向上させます。
コールドスタートに関する注意事項と推奨事項類似性に基づいてコンテンツを推奨することで、新しく公開されたノートが迅速に注目を集めるよう支援します。
タグとカテゴリの生成メモに関連するタグとカテゴリを自動的に生成し、コンテンツの検索性を向上させ、ユーザーが関心のあるコンテンツをより迅速に見つけられるようにします。
マルチモーダルコンテンツ推薦テキスト情報と画像情報を処理して、より包括的なメモ表現を生成することで、マルチモーダルなレコメンデーションの精度と関連性を向上させます。
コンテンツ作成支援コンテンツ制作を支援するために、キーワード、タグ、関連メモの推奨など、クリエイターに創造的なインスピレーションと提案を提供します。