AWS 博客：Property Finder 发现评估标签偏差，重构基准后模型准确率提升、成本降 86%

核心事实

AWS 官方博客于 2026 年 10 月 27 日刊文，介绍数字房产应用公司 Property Finder 在 Amazon Bedrock 上迁移视觉 AI 工作负载时发现的一个问题：其评估数据集中 96.8% 的标签直接沿用了现有视觉语言模型的预测结果，而非经过人工专家独立核验。据文章描述，这使基准答案系统性地偏向在役模型，任何替代方案在比较中都会处于结构性劣势。团队随后由一名具备房产挂牌质量标准的策略与分析专家重新人工标注了 356 张阿联酋图像，其中前 256 张作为调优用开发集，最终比较使用全部 356 张；另有 230 张埃及图像用于跨区域检查，文章未报告其结果。

背景与影响

Property Finder 每天在中东和北非地区处理数万张房产图片，每张图需评估 11 项质量属性，涵盖水印检测、房间分类、装修状态、照片质量与施工迹象等。文章称，团队在把单标签分类改为多标签分类后，缓解了一部分人为歧义；指标上以 Micro F1 为主，并同时报告 Macro F1、各标签的精确率与召回率以及逐样本 IoU。提示词优化从 v0 迭代到 v27，后期引入自动化优化。文章称最终在 Amazon Bedrock 上实现了更高准确率与 86% 的成本下降，但未披露具体模型名称、绝对准确率数值与定价细节。

限制与来源

上述数据均来自 AWS 博客中 Property Finder 与 AWS 生成式 AI 创新中心团队的自述，尚未见独立第三方复现。文章亦指出，356 张图像的规模大致只能检测模型间的中等差异，单个属性下的稀有类别样本更少，相关小幅差异可能无法识别。模型可用性、区域支持与计费方式请以 AWS 官网当前信息为准。来源：aws.amazon.com 博客文章《Fix evaluation bias to unlock better models on Amazon Bedrock》。