AgentCLUE-ICabin - 自動車用スマートコックピット向けAIエージェント評価ベンチマーク - AiBoss

AgentCLUE-ICabinとは何ですか？

AgentCLUE-ICabinは、自動車のスマートコックピットシナリオに特化したAIエージェントベンチマークであり、スマートコックピット内における大規模言語モデルのツール呼び出し能力を包括的に評価します。このベンチマークは、日常の通勤から長距離運転まで、さまざまな移動ニーズを網羅する12種類の一般的な自動車利用シナリオに基づいて構築されており、国内ユーザーの実際のインタラクションシナリオと完全に一致しています。評価設計には、1～10ラウンドの複数ターン対話型対話が含まれ、各ラウンドで少なくとも1つのツールが呼び出されるため、複雑な環境におけるモデルのインタラクション能力を包括的に検証できます。

AgentCLUE-ICabinは、客観的な0/1評価メカニズムを採用し、呼び出した機能と実行後のシステム状態の一貫性を比較することで、評価結果の公平性を確保しています。ツールセットは、旅行、車両制御、エンターテイメント、安全、一般の5つのカテゴリに分かれており、ナビゲーションからシート調整まで、70以上の機能を網羅しています。評価プロセスには、シナリオ収集、ツールセット構築、対話データ生成、回答検証が含まれ、評価の科学的厳密性と実用性を保証します。

AgentCLUE-ICabinの主な機能

シーン構築日常の通勤、長距離の自動運転、家族旅行など、一般的な12種類の自動車利用シナリオに基づいて、多様な旅行状況を網羅する評価セットが構築された。
複数ターンにわたる相互作用実際のコックピットでの使用における継続的な対話の要件をシミュレートするために、各ラウンドで少なくとも1つのツールが呼び出される、1～10ラウンドの複数ラウンドの対話型対話を設計する。
ツール呼び出しスマートコックピット用のツールは、旅行、車両制御、エンターテインメント、安全、一般使用の5つのカテゴリに分かれており、70以上の機能を網羅し、スマートコックピットの中核機能を包括的にカバーしています。
評価メカニズム0/1評価方式を採用し、呼び出された関数と関数実行後のシステム状態の一貫性を比較することで正しさを判断することで、結果の公平性と客観性を確保しています。
データ生成このシステムは、大規模なモデルを利用して複数ラウンドの対話型データを作成し、それを手動で検証および最適化することで、自動車のインテリジェントコックピット向けの正確なQAペアを形成し、評価用の標準サンプルを提供する。

AgentCLUE-ICabinの技術原理

シナリオ主導型マルチターンインタラクションデザイン
- シーン構築日常の通勤、長距離運転、家族旅行など、12種類の一般的な自動車利用シナリオに基づき、実際のユーザーニーズを的確に反映した評価セットを構築しました。これらのシナリオは、様々な状況におけるユーザーの多様なニーズを網羅しています。
- 複数ターンにわたる相互作用1～10ラウンドにわたる複数ターンの対話型対話を設計し、各ラウンドで少なくとも1つのツールを呼び出すようにします。この複数ターンの対話設計は、スマートコックピットの実際の使用におけるユーザーの継続的な対話ニーズをシミュレートし、複雑な対話におけるモデルのパフォーマンスを検証します。
工具分類スマートコックピットのツールは、旅行、車両制御、エンターテイメント、安全、一般の5つの主要なタイプに分類され、70以上の具体的な機能が含まれています。例えば、
- 旅行サービスツールナビゲーション、交通情報、ガソリンスタンド検索などの機能が含まれています。
- インテリジェント車両制御ツールエアコンの操作、窓の操作、座席の調整など。
- エンターテイメントサービスツール音楽再生、ラジオ聴取、映画鑑賞など
- セキュリティサービスツール主な機能には、タイヤ空気圧監視システム、セントリーモード、チャイルドロック制御などがあります。
- 一般的なツール主な機能としては、シート調整、ステアリングホイール調整、ヘッドライト調整などが挙げられます。
ツール呼び出しモデルは、ユーザーの指示に従って対応するツールを呼び出し、呼び出しの正確性と実行結果の正当性を保証する必要がある。
客観的かつ公正な評価メカニズム
- 0/1評価方法この評価方法は、モデルが呼び出した関数と参照解答との整合性、および関数実行後のシステム状態の変化を比較することで、正しさを判断します。この方法は、主観的な採点による偏りを排除し、より客観的かつ公平です。
- 多段階フィードバック機構このモデルは、対話の各ラウンドで最大3回まで試行できます。システムはモデルの呼び出し結果に基づいてエラーフィードバックを提供し、モデルはそれに応じて調整を行います。
対話データ生成大規模モデルを活用して複数ラウンドの対話型データを作成し、スマートコックピットにおける実際のユーザーインタラクションシナリオをシミュレートする。
手動検証と最適化生成された対話データと回答は、データの正確性と使いやすさを確保するために手動で検証および最適化され、車のスマートコックピット向けに精度の高いQAペアが形成されます。
状態追跡複数回のやり取りにおいて、システムはコックピットの状態変化を追跡・管理します。モデルは、後続の操作の正確性を確保するために、各操作がシステム状態に与える影響を考慮する必要があります。
州比較評価プロセスにおいて、システムはモデル操作後のシステム状態を期待される状態と比較し、モデル操作が正しいコマンドを呼び出すだけでなく、システム状態を正しく変更していることを確認します。

AgentCLUE-ICabinの主な利点

シーンの網羅性本評価は、日常の通勤、長距離の自動運転、家族旅行など、12種類の典型的な自動車利用シナリオを網羅しており、国内ユーザーの実際のニーズを十分に満たし、評価結果の高い実用性と参考価値を保証するものです。
相互作用の複雑さ実世界での継続的な対話のニーズをシミュレートし、複雑なインタラクションにおけるモデルのパフォーマンスを検証し、評価の深さと幅を向上させるため、各ラウンドで少なくとも1つのツールを呼び出す、複数ターンの対話型対話を1～10ラウンド設計する。
評価の客観性評価メカニズムは0/1評価方式を採用しており、呼び出された関数と実行後のシステム状態の一貫性を比較することで正しさを判断し、評価結果が客観的かつ公平であることを保証し、主観的な要因による干渉を回避します。
ツールの豊富さインテリジェントコックピットツールは、旅行、車両制御、エンターテインメント、安全、および一般の5つのカテゴリに分類され、70以上の具体的な機能を網羅し、インテリジェントコックピットの中核機能を包括的にカバーし、モデルに豊富な通話オプションを提供します。
データ精度このシステムは、大規模なモデルを用いて複数ターンの対話型データを作成し、それを手動で検証・最適化することで、正確な質疑応答ペアを形成します。これにより、評価データの品質と精度が確保され、モデルのトレーニングと評価のための信頼できる基盤が提供されます。

AgentCLUE-ICabinの応用シナリオ

毎日の通勤これにより、ユーザーは通勤中に交通状況を確認したり、音楽を再生したり、ニュースを受け取ったりすることができ、移動の利便性と快適性が向上します。
長距離ドライブツアー長距離移動向けに、正確なナビゲーション、シートマッサージ、ガソリンスタンド検索機能を提供し、スムーズな旅と快適な運転体験を保証します。
家族旅行お子様連れのご家族のニーズに応えるため、チャイルドロック、後部座席のエンターテイメントオプション、ルート沿いの家族向け施設に関する情報など、お子様の安全と旅行の利便性を確保する様々な機能が備わっています。
車の中で働くこれはモバイルオフィススペースを作り出し、Bluetoothによるテレビ会議、音声メモ、車載Wi-Fiなどの機能をサポートすることで、ユーザーが車内で仕事をしたいというニーズを満たす。
毎日の買い物日々の買い物や散歩のニーズに応えるため、ショッピングモール内のナビゲーション、駐車場の問い合わせ、トランクの開閉といった機能を提供し、買い物や旅行の利便性を向上させます。
学童の送迎一時的な駐車スペースの確保、車内温度の設定、学校までの正確なナビゲーションなど、子供の送迎における課題を解決することで、送迎プロセスを最適化する。