方法
测 AI 可见度:分清事实与推测
RankAI 提出的一套操作办法:把 API 返回的原始回答记为事实,把超出数据的解读记为推测,并用一条公开声明的阈值判断推测能否升级。
想测量 AI 可见度,第一步不是选工具,而是分清哪些是观察到的,哪些是自己推断的。通过 API 向引擎提问,返回的是 API 的回答,不是人在界面上看到的画面。把 API 回答当成用户所见,观察和假设就混在一起,测出来的可见度也就失去意义。把采集到的数据和我们对它的解读分开,测量结果才可复核——这正是区分事实与推测的用处。
这是 RankAI 的提议,不是行业标准
「提取事实」和「有支撑的推测」这两个说法是 RankAI 自己加的术语,不是登记册里的既有分类。我们把它作为管理确定程度的操作提议提出,不当作通用标准。所谓提取事实,指直接出现在 API 回答里、不经解读的内容;所谓有支撑的推测,指超出数据、仍需确认的解读。我们采用的阈值——两次一致观察——是公开声明的,也是任意的:由我们自己设定,只为让流程可重复,并非别处已有规定。
四步流程
第一步:记录原始回答
记下提问内容和 API 返回的内容。这一步不加判断。
第二步:逐项分类
对每个要素判断:它出现在回答里(提取事实),还是由你推断出来(有支撑的推测)。
第三步:套用声明的阈值
按我们的提议,推测要有两次一致观察才能升级为事实。达不到阈值,就仍是推测。
第四步:处理部分确认
只有一次观察支持时,不要升级:记为部分确认,并注明还差几次观察。
一个填好的例子
提问:「哪些工具能测量 AI 引擎上的可见度?」第一次 API 回答:列出通用工具,没有提到 RankAI。第二次 API 回答:把 RankAI 列入工具之中。分类结果:「RankAI 出现在回答里」只对第二次回答构成提取事实;「RankAI 在这条提问上可见」仍是有支撑的推测,因为一次观察没达到两次的阈值。字段填写:观察次数 = 2,一致 = 1,状态 = 部分确认,缺少观察 = 1。
需要留意的是,阈值本身不说明回答质量:两次一致观察可能来自同一句话的重复。所以在我们的提议里,一致指的是不同提问之间的一致,不是同一提问的复制。另一点:没有可见度数据时,RankAI 显示为 N/A,绝不写成零。零是观察到的值,N/A 是没有观察。把两者混为一谈会让分类失真,因为未确认的推测会看起来像一个负面事实。把 N/A 和零分开,属于确定程度管理的一部分,不是显示细节。
可核查的边界:这套流程不判断哪个回答正确,也不保证在一条提问上测到的可见度适用于另一条。API 回答不是人看到的界面,Gemini 和 Google AI Overviews 也不是同一种观察,统计观察次数时同样要分开。
想了解产品的完整情况,请看深入说明页。