LalaEval - 香港中文大学とLalamoveの合弁事業であり、特定分野向けのモデル評価フレームワークを立ち上げた。

LalaEvalとは何ですか？

LalaEvalは、香港中文大学とLalamoveデータサイエンスチームが共同開発した、ドメイン固有の大規模言語モデル（LLM）向けの人間による評価フレームワークです。このフレームワークは、ドメイン仕様の策定、標準の確立、ベンチマークデータセットの作成、評価ルールの構築、評価結果の分析と解釈までを網羅する、エンドツーエンドの完全なプロトコルを採用しています。その中核となる機能は、論争とスコア変動の分析を通じて主観的な人間の誤りを自動的に修正し、高品質な質問と回答のペアを生成することです。LalaEvalは、採点の客観性と公平性を確保するために、シングルブラインド方式を採用しています。既に物流分野で成功裏に適用されています。

LalaEvalの主な機能

• 分野の範囲組織の目標やビジネスニーズに関連付けながら、特定の領域の範囲と境界を明確に定義します。物流分野では、これは最も基本的なサブセクター（地域貨物輸送など）から、より広範なサブドメインへと移行することを意味します。
• 能力指標の構築LLMの性能、有効性、適用性を評価するための能力次元を定義します。これには、一般的な能力とドメイン能力が含まれます。一般的な能力には、意味理解、文脈に応じた対話、事実の正確性などが含まれます。ドメイン能力には、概念や用語の理解、業界ポリシーに関する知識などが含まれます。
• 評価セットの生成標準化されたテストを開発し、信頼できる情報源からデータを収集して、一貫した条件下で評価を行う。
• 評価基準の開発人間の評価者にとって構造化された枠組みを提供し、評価の科学的な厳密性と信頼性を確保するために、詳細な採点方式を設計する。
• 結果の統計分析本システムは、評価プロセス中にデータを体系的に検査・評価します。採点に関する論争、質問に関する論争、採点変動といった分析フレームワークを通じて、採点結果の品質検査、低品質な品質保証の二次的特定、採点変動の原因の定量的分析を自動的に実行します。

LalaEvalの技術原則

• 単盲検試験の原則評価プロセス中、モデルの応答は匿名化され、少なくとも3人の人間の評価者にランダムな順序で提示された。
• 論争と評価変動の分析LalaEvalは、採点上の論争、質問内容の論争、採点の変動性という3つの分析フレームワークを確立することで、人間の採点における主観的な誤りを自動的に検出し、修正します。
• 構造化された評価プロセスLalaEvalは、ドメイン範囲の定義、能力指標の構築、評価セットの生成、評価基準の策定、および結果の統計分析を網羅するエンドツーエンドの評価プロセスを採用しています。
• 動的なインタラクティブ展開構造LalaEvalの導入構造は、モジュール性と動的な相互作用を重視しており、さまざまなビジネスシナリオに基づいて評価プロセスを柔軟に調整することを可能にし、さまざまなドメインにわたるフレームワークのスケーラビリティを保証します。

LalaEvalのプロジェクトアドレス

• arXiv技術論文：https://arxiv.org/pdf/2408.13338

LalaEvalの応用シナリオ

• 物流分野における大規模モデル評価LalaEvalは、都市内貨物輸送などの特定のビジネスシナリオを対象としています。ドメイン範囲の定義、能力指標の構築、評価セットの生成、評価基準の確立を通じて、LalaEvalは物流業界における大規模言語モデルのパフォーマンスを科学的に評価し、企業の物流ビジネスプロセスの最適化を支援します。
• 大型モデルのレビューへの招待ドライバー招待のシナリオにおいて、LalaEvalは現実世界の対話シナリオをシミュレートすることで、自動招待タスクにおける大規模モデルのパフォーマンスを評価します。
• 大規模企業モデルのカスタマイズと最適化LalaEvalは、企業に対し、自社のビジネスニーズに基づいて評価セットを動的に生成できる標準化された評価方法を提供し、自動分析によって人間の主観性を低減します。
• クロスドメインアプリケーションのスケーラビリティこの設計はモジュール性と動的な相互作用という原則に基づいており、他の分野にも柔軟に拡張できる。