两次 AI 回答不一样,怎样判断是资料变了还是测试条件变了?

同一份公开办事说明,两次询问 AI 得到不同答案,并不能立刻说明网站内容变差了。可能是问题换了说法、联网模式变了,也可能是本次引用了另一份旧文件。比较答案之前,先把测试条件和来源记录下来,才知道差异发生在哪一层。

一次测试同时保存问题、回答和条件

给每个测试问题一个固定编号,保存完整原句,不只记“问材料清单”。再记录使用的平台与模式、测试时间和时区、界面语言、地区设置、登录状态、是否联网,以及回答中实际出现的引用链接。如果某个设置无法确认,就写未知,不要凭回答语言猜测测试地区。

测试公共服务信息时,使用公开资料和虚构的普通情境即可,不要提交真实证件号码、健康信息或个人办事材料。测试的目标是了解公开说明是否容易被正确理解,而不是代替具体事项的官方办理判断。

先确认回答引用了哪一版资料

打开引用链接,核对发布机构、适用地区、发布时间或修订日期,再看它是否真的支持回答中的条件。一个链接能够打开,并不能证明回答正确;它可能指向栏目首页、另一个地区的规定,或者只支持答案中的部分句子。

可把问题分成四种情况记录:引用当前资料且解释准确;引用当前资料但解释偏离;引用过期资料;没有可核对的来源。没有引用不等于答案一定错误,但需要额外核查,不能与已逐句验证的回答混在同一项“准确率”里。

新增问题后,不直接对比总命中数

以下是教学数字:第一轮有10条固定问题,其中4条回答提到了目标网站;第二轮增加到20条,其中8条提及。提及总数翻倍,但比例仍为40%,而且新增问题可能更容易命中。仅凭这两个总数,不能说原来的问题表现改善。

更稳妥的办法是单独比较两轮都使用的那10条问题,新增部分作为新基线。对于同一问题多次提问,还要先确定统计单位是“问题”还是“单次回答”;否则一个问题问五次,另一个只问一次,会让总数偏向重复采集的题目。

需要设计记录字段时,可以参考光算的AI 监测采样与可比性说明,重点关注问题集、模式、语言和采样条件,不把人工测试的小样本当作所有用户会看到的固定结果。

条件变了,就把变化写进结论

如果平台入口或模式发生变化,可以报告“本轮观察到的回答与引用”,同时注明无法与旧轮直接比较。平台之间的结果也应分开呈现:它们可以用于并列观察,但不能在没有说明的情况下合成一个代表所有 AI 的分数。

一段可用的结论可以是:“本轮在相同问题集下复测,发现两条回答仍引用旧版材料;已确认新版公开文件地址,后续将复查相同问题。尚不能判断其他用户是否得到相同结果。”这种写法保留了发现、依据和后续动作,也避免把一次截图包装成长期趋势。