解答
改了提示词,对比为什么读不出来
提示词一变,可观察的答案集合就变了。先分清三种原因,再在交集上重算,对比才读得出来。
你把十来个问题分别抛给 ChatGPT 和 Google AI Overviews,记下答案,随后改了两条提示词,对比就读不出来了:总数对不上,有些格子像凭空消失。这不是故障。提示词集合一变,可观察的答案集合也跟着变;两个不同范围之间的对比,不是对同一件事的两次测量。第一步是把三种原因分开:提示词有增有删、某次观察里答案不可得、以及把性质不同的观察塞进同一列。分开之后,才在交集上重算。
诊断步骤:RankAI 的操作建议
这不是通用规范,只是我们用来让断点变得可读、又不编造数值的做法。
1. 冻结范围
把 A 版和 B 版的提示词各列一份。标出哪些是新进的、哪些被删掉、哪些被改写。就对比而言,改写过的提示词算新提示词。
2. 区分缺失和零
没有可见度数据时,RankAI 显示为 N/A,不会写成零。零是一条信息;N/A 说明这一格没有被观察到。把两者当成一回事,对比就读不出来。
3. 在交集上重算
只比较两版都有的提示词。原始总数里混着在另一版没有对应项的行。
用一份带值和缺值的记录,能看清它和原始总数的差别。A 版:P1 为 4,P2 为 6,P3 为 N/A。B 版:P1 为 5,P2 为 N/A,P4 为 3。A 的原始总数是三行合计 10,B 是三行合计 8,看上去像下滑。落到交集 P1–P2:A 是 4 和 6,B 是 5 和 N/A。P2 这一行在 B 里没有测量,不可比,保持 N/A,不变成零。唯一读得出来的变化是 P1,从 4 到 5。P3 和 P4 不在交集内,不进入对比。这份记录是工作底稿,不是标准格式:它要说明的是,该看的是共同行的数字,不是各列相加。若一次观察来自 API、另一次来自截图,或一列是 Gemini、另一列是 Google AI Overviews,都要分开存放:性质不同的观察不能相加。
没有出错,读法也会变
对比可读的前提是,同一行在两版里含义相同。改提示词就挪动了样本,分母也跟着挪。另外,页面是简体中文,并不表示 RankAI 会监测豆包、元宝、Kimi 或千问:页面语言不会扩大观察覆盖范围。上线前结账可以保持关闭:邀请是创建账户或打开相关页面,不是立刻开始试用。
可核实的边界
我们只能说出记录显示的东西:没有测量的格子保持 N/A,对比要在提示词交集上做。不能说被删掉的提示词等同于结果缺失,也不能说两种性质不同的观察是同一个测量。读法与边界情形,见深入说明页。