AB
AB
AiBoss

すべてのカテゴリ

project

AutoConsis - Meituanが復旦大学と提携して開発した、AIを活用したUIコンテンツの一貫性検出ツール。

AutoConsisは、美団の技術チームと復旦大学が共同開発したインテリジェントなUI一貫性検出ツールです。ディープラーニングと大規模言語モデルに基づいて、インターフェースから重要なデータを自動的に識別・抽出し、データの検出と認識を行います。

AutoConsisとは何ですか？

AutoConsisは、美団の技術チームと復旦大学が共同開発した、インテリジェントなUI一貫性検出ツールです。ディープラーニングと大規模言語モデルに基づき、インターフェースから重要なデータを自動的に識別・抽出し、データ間の不整合を検出・認識します。AutoConsisはユーザーエクスペリエンスを向上させ、データ表示エラーによるユーザーの不満を軽減し、テスターの作業負荷を軽減します。実用面では、低コスト、高い汎化性能、高い信頼性といった利点を発揮し、フロントエンドUIデザインの品質確保に大きく貢献します。

AutoConsisの主な機能

  • 標的領域の特定まず、検出に関連するUIの主要領域を特定し、次に画像処理およびパターン認識技術に基づいて重要な情報を含むUI部分を特定します。
  • 対象情報抽出対象領域が特定されると、ツールはOCR技術とUIコンポーネントを使用して対象領域のテキストと要素を分析および抽出し、大規模言語モデル（LLM）推論を使用して一貫性検証に必要な主要情報を抽出します。
  • 一貫性チェック抽出した情報に対して整合性チェックを実行し、数値論理型や意味型に関するチェックを含め、UI情報の正確性と一貫性を確保します。
  • 自動化されたインテリジェント検査プロセス低コスト、高い汎化性能、高い信頼性でUIコンテンツの一貫性を検出できる、自動化されたインテリジェントな検出プロセスを実装する。
  • 複数事業シナリオへの適応このツールは、さまざまなページテンプレート、技術スタック、アプリケーションに対応でき、複数の業種や多様なレイアウトに自動的に適応します。

AutoConsisの技術的原理

  • マルチモーダル深層学習モデルマルチモーダル深層学習モデルを使用してGUIページを分析し、画像情報とテキスト情報を組み合わせて認識精度を向上させる。
  • 大規模言語モデル（LLM）LLMはテキストから深い意味情報を抽出し、重要なデータを特定して分析します。
  • 物体検出とコンテンツ理解これにより、UIページ分析タスクは、オブジェクト検出とコンテンツ理解の組み合わせへと変換され、大規模モデルの機能を活用して、異なる技術スタックを持つページにも適応できるようになります。
  • OCRとUIコンポーネントの分析テキスト情報はOCR技術を用いて抽出され、UIコンポーネント分析ツールと組み合わせて要素を抽出した後、あらかじめ設定されたCoTプロンプト（思考連鎖プロンプト）に入力されます。重要な情報は、大規模モデル推論に基づいて抽出されます。
  • 一貫性検証ルール事前に定義された数値論理と意味論的ルールに基づいて、抽出されたUIコンテンツの一貫性が判定されます。数値論理型の一貫性はルールを用いて直接チェックされ、複雑な意味論的ルールについては、LLMの理解能力を用いて検証が行われます。
  • 情報抽出プロンプト設計大規模言語モデルによく見られる「錯覚」問題に対処するため、情報抽出の精度を向上させるために、文脈学習を取り入れたPrompt（CoT）を設計しました。
  • マルチモーダルUI領域認識CLIPは、視覚的意味認識モデルであり、対象領域の識別に使用されます。画像とテキスト間の意味マッピングを利用して高次元ベクトル空間でマッチングを行うことで、認識の汎化性能と精度を向上させます。

AutoConsisプロジェクトのアドレス

AutoConsisの応用シナリオ

  • eコマースプラットフォーム電子商取引プラットフォームでは、商品詳細ページ、ショッピングカートページ、チェックアウトページ間で価格と在庫情報が一貫しているかどうかを確認する必要があります。これにより、ユーザーが異なるページで目にする情報が正確かつ同期されていることが保証されます。
  • マーケティングキャンペーンの検証プロモーションやマーケティングキャンペーンを実施する際は、割引、特典、イベントルールに関する説明が複数のページ間で一貫していることを確認し、情報の不一致によるユーザーの混乱を防いでください。
  • 金融アプリケーション金融アプリケーションにおいては、これは口座残高、取引記録、投資収益などの主要な財務データが、異なるページ間で一貫して表示されているかどうかを確認することを意味します。
  • 旅行とホテルの予約旅行やホテルの予約アプリでは、ユーザーエクスペリエンスを向上させるために、価格、空室状況、予約条件が複数のページで一貫していることを確認してください。
  • ソーシャルメディアとコンテンツプラットフォームソーシャルメディアやコンテンツプラットフォームにおいては、これはユーザープロフィール、投稿、コメントに含まれるデータや情報が一貫しているかどうかを確認することを意味します。
戻る