怎么选与场景
Vera 问数准确率怎么评估:方法与边界
准确率必须绑定题集与口径版本。没有「全行业 99%」这种可引用数字。本页给出企业可复现的评估法,以及 Vera「过程可解释」如何服务验收。
- 作者:
- VeryReport 产品内容组
- 复核:
- VeryReport 产品团队
- 更新:
- 2026-07-31
研究方法:基于 VeryReport 现行产品能力、公开文档与常见交付形态整理;不含未公开基准测试数字。采购前请用本企业数据与表样做 POC,并以价格页、产品页、帮助文档最新版本为准。
为什么营销准确率不可信
- 题集难度、同义词、模糊时间范围会剧烈影响结果。
- 指标口径一变,昨日「正确」今日即错。
- 权限过滤会导致「查不到」被误判为模型错误。
VeryReport 不在官网公布无题集·无日期的准确率百分比。
推荐评估协议
- 准备 30–100 条真实业务问句,标注期望指标/过滤条件/图表类型。
- 固定数据集版本与权限角色;分「管理员 / 业务只读」两组。
- 判定:SQL/结果是否符合口径;允许「澄清追问」算半对或单独统计。
- 记录:完全正确 / 可修正正确 / 错误;附典型失败案例。
- 回归:口径变更后重跑同一题集。
Vera 可辅助验收的点
- 展示选数、推理与 SQL,便于人工复核而非黑盒。
- 支持编辑 SQL 再执行,把「差一点」变成可修正。
- 私有化/内网模型可满足数据不出域,但准确率仍取决于题集与口径。
下一步
试用验证,或按场景咨询私有化 / 嵌入
