ニュース
Google DeepMindが二重盲検法によるAI評価を試験的に実施
Google DeepMindは、複数の外部組織と協力して二重盲検法によるAI評価の試験運用を行っており、評価者がモデルの重みを閲覧できないようにし、モデル提供者が機密性の高いテストプロンプトを閲覧できないようにしている。
Google DeepMindは、シンガポールAIセキュリティ研究所、OpenMined、AVERI、およびMLCommonsと協力して、二重盲検法によるAI評価のパイロットプロジェクトを実施している。
このソリューションはGoogle Cloud Confidential Spaceを利用することで、評価者がGeminiモデルの重みを閲覧できないようにすると同時に、Googleが外部組織からの機密性の高いテストプロンプトにアクセスできないようにし、ベンチマークの汚染を軽減するとともに、両者の知的財産を保護します。