选定一组潜在买家会提出的问题,保存你看到的答案;当你核实某个发现或修改网页后,在同样的问题上再测一次。只要有电子表格和 AI 答案界面,就能建立一份基线,说明品牌何时出现、如何被呈现,以及哪些说法值得核实。
本指南使用Cedar Finch Workshop(一家虚构的接待台制造商)作为例子。其 Prompt、回答、来源、日期和结果全部为合成教学数据。你可以依照这个方法操作,再代入自己的问题与证据。
快速开始
准备材料: 电子表格、一个 AI 答案界面、几条买家问题,以及一项可信的企业事实来源,例如配送政策。
- 在同一个界面运行相同的问题列表,并保存回答及其链接。
- 标记品牌被点名、被作为选择推荐或被引用的情况;对能够核实的业务声明进行事实核查。
- 选择一个发现继续调查,记录处理决定,并约定下一轮执行日期。
最终,你会得到可复查的基线、所采取行动的记录,以及一组可以对比的第二轮答案。起步时应把 Prompt Panel 控制在能够人工逐条检查的规模。
1. 围绕买家决策建立 Prompt Panel
从买家身份和决策任务开始。某家诊所的经理想订购定制接待台,可能先询问哪些制造商服务小型诊所,然后再问哪些供应商能按已有平面图生产。这是两个不同的决策,即使都围绕接待台。
为每条 Prompt 分配 ID,并注明目的。使用不包含品牌名称的发现型 Prompt,观察答案会在未指定你品牌的情况下推荐哪些选项;使用带品牌名称的事实核验 Prompt,检查答案是否准确描述你的企业。实际建表时,还应记录问题源自客户、内部研究,还是某个工具;保存真正提交给平台的原始措辞。
合成示例 Prompt Panel — Cedar Finch Workshop
| ID | 原始英文 Prompt(保持固定) | 任务 | 保留原因 |
|---|---|---|---|
| P1 | Which US makers offer custom oak reception desks for small clinics? | 无品牌发现 | 检查针对特定买家的供应商名单是否出现 Cedar Finch。 |
| P2 | Which US suppliers can make a reception desk from my floor plan? | 无品牌选择 | 检查 P1 未覆盖的“根据平面图生产”要求。 |
| P3 | Does Cedar Finch Workshop ship reception desks to Alaska? | 品牌事实核验 | 对照配送政策检查具体声明。 |
| P4 | Can Cedar Finch Workshop build a desk from a customer floor plan? | 品牌事实核验 | 检查答案如何描述供应商接收图纸的流程。 |
四条问题均为教学用途编写。若“best custom clinic reception desk makers”与 P1 所测试的决策相同,可舍弃;what is AI visibility? 服务的是另一类读者,也应舍弃。P2 和 P4 都提到平面图,但只有 P2 要求系统寻找供应商。
固定问题措辞后,选定平台界面、市场、语言和复测计划。起步面板应小到能够重复运行和检查。如果以后增加或修改问题,应记录变化,并保留原始 ID 以供比较。开始使用电子表格就足够了。下载 Prompt Tracker。
2. 执行基线测试并保存答案证据
每次提交一个问题,先保存证据,再处理下一个。将完整回答粘贴到标有日期的笔记或文本文件。若截图有助于保留语境,应将 Prompt、答案及可见来源面板一起截入。能取得来源 URL 时,应将原始 URL 复制到表格。表格和证据文件使用相同的 ID,例如 B-P1-a1.txt,便于日后查找。如果只能保存片段或截图,应注明它涵盖哪些内容、是否缺少答案其余部分或来源。
记录 Prompt ID、界面或 API、可见的模型名称、带时区的时间戳、市场及其判断依据、语言、搜索模式和会话条件。不能观察的设置写 unknown(未知);可以观察但无法控制的设置,记录实际值并标为 uncontrolled(不可控)。如果原计划测试美国市场,但界面无法确认地区,应把 US 记为目标市场,把实际地区记为 unknown。浏览器测试与 API 测试分开统计。
每次提交问题都称为一次 attempt(尝试);一个 slot(采样位置)表示你计划在某轮、某平台上为某条 Prompt 收集的一条有效回答;如果尝试失败,再次提交同一位置称为 retry(重试)。采集前应确定重试规则。在本例中,执行失败后可在五分钟内以相同条件重试一次;第一条有效回答填入该位置。若回答正文可读,但来源面板不可用,该位置仍算有效,引用状态标为未知。
Cedar Finch 合成基线观察摘要
- P2: 首次提交超时;重试产生有效答案。保留两次尝试,但有效答案只计分一次。
- P3: 答案可读,来源面板不可用;保留回答,引用状态标为 unknown。
- P4: 两次提交均超时;计划位置未获得有效回答。
因此,四个计划位置有三个有效答案;六次尝试中有三次失败。具体时间、回答及来源见完整合成尝试日志。
3. 分别编码提及、推荐、引用与准确性
先阅读答案正文,再检查来源链接,并使用带日期的参考材料核验业务事实。每项判断都保存相应原句和 URL,让另一名审核者能够复查。
- 提及(Mention): 在答案正文中查找品牌;别名需要先确认身份。
- 推荐(Recommendation): 判断答案是否明确将品牌作为合适选项,或附带条件地推荐。背景介绍和单纯陈述事实不是同一种角色。
- 自有网站引用(Owned Citation): 检查可见来源链接是否指向确认属于该品牌的 URL。
- 准确性(Accuracy): 将可核查的品牌声明与带日期的事实记录对照。无法解决的声明记为 unknown;没有合格声明可核查时记为 not applicable(不适用)。
详见完整编码规则中关于 yes、no、unknown 和 not applicable 的规定。
在合成基线中,P1 将 Cedar Finch 作为合适选项,并引用了其诊所接待台页面。可以核实的是:公司提供面向诊所的定制橡木接待台;是否真正合适本身则是推荐判断。P2 将 Cedar Finch 作为需先确认尺寸的附条件选项,并引用了第三方 URL;对其是否接受平面图,回答没有提出明确可判真的事实声明。
P3 点名 Cedar Finch,并给出阿拉斯加配送信息。但政策只覆盖美国本土相连的 48 州,因此该回答不准确。由于来源面板缺失,自有引用状态为 unknown。对于“Cedar Finch might be relevant”这样的说法,需要判断回答是否真正把公司作为候选选项;角色模糊时记为 unknown。候选角色如何影响计数。
另一条合成示例:品牌未出现。 此示例不计入 Cedar Finch 的十次尝试。假设某次供应商问题的完整回答仅为“Try North Pine Fixtures”,可按下表记录 Cedar Finch:
| 可核实的观察 | 应如何记录 |
|---|---|
| 完整正文与来源面板均没有 Cedar Finch 名称或自有 URL。 | Mention No;Recommendation No;Owned citation No。 |
| 正文未变,但来源卡片链接到 https://cedarfinch.example/spec-guide。 | Mention No;Recommendation No;Owned citation Yes;还需核实页面归属。 |
| 正文完整,但来源面板不可用。 | Mention No;Recommendation No;Owned citation Unknown。 |
| 提交超时,无法获取回答。 | 记录为一次 failed attempt;按重试规则处理。若没有有效重试,各项结果均不计分。 |
前三种能阅读到答案的情形,都没有针对 Cedar Finch 的可核查声明,因此准确性为 not applicable。这组独立示例不改变后文的原始编码表。
4. 计算基线,并比较可比数据
先报告覆盖率:有效位置数 ÷ 计划位置数。失败尝试率则单独计算:失败尝试数 ÷ 全部尝试数。然后针对每个可评分指标,以有效位置中的 yes ÷ (yes + no) 计算比率;unknown 与 NA 应单独报告,让读者了解分母为什么不同。
推荐指标可以从三个角度使用:
- 单条答案的角色。 P2 的基线回答属于附条件推荐;复测时只在背景中提到 Cedar Finch,因此推荐编码为 no。
- 整个面板中的推荐出现率。 统计有效位置中出现推荐的次数,并报告角色编码的覆盖情况。本例所有有效位置均可判定角色,因此基线是 2/3,复测是 1/4。如果角色未知,应在全部有效位置中显示原始出现次数,同时报告可计分位置的比率。整个面板混合了发现型 Prompt 与品牌事实核查 Prompt,因此这一比例只描述该混合样本。
- 发现与选择型推荐率。 只纳入事先选定用来寻找或筛选供应商的问题;分子是明确推荐或附条件推荐,分母是可评分的发现与选择型位置。P1、P2 的结果为:基线 2/2,复测 1/2。P3、P4 是针对已点名企业的事实问题,属于另一组。
Cedar Finch 合成轮次合计
| 指标 | 基线 | 复测 |
|---|---|---|
| 有效位置 / 计划位置 | 3/4 | 4/4 |
| 失败尝试 / 全部尝试 | 3/6 | 0/4 |
| 品牌提及 | 3/3 | 4/4 |
| 全面板推荐出现率 | 2/3 | 1/4 |
| 发现与选择型推荐率 | 2/2 | 1/2 |
| 自有网站引用 | 1/2,另有 1 条 unknown | 3/4 |
| 准确性 | 1/2,另有 1 条 NA | 3/3,另有 1 条 NA |
比较跨轮次变化时,应按 Prompt ID 和测试条件配对。某项指标只有两轮答案都可评分时才纳入配对。本合成案例中,P4 只在复测时获得有效答案,因此它会影响该轮覆盖率和可评分事实总数,却不应纳入配对比较。
Cedar Finch 合成配对比较
| 指标 | 符合条件的 Prompt 配对 | 基线 → 复测 |
|---|---|---|
| 提及 | P1、P2、P3 | 3/3 → 3/3 |
| 全面板推荐出现率 | P1、P2、P3 | 2/3 → 1/3 |
| 发现 / 选择型推荐率 | P1、P2 | 2/2 → 1/2 |
| 自有网站引用 | P1、P2 | 1/2 → 2/2 |
| 准确性 | P1、P3 | 1/2 → 2/2 |
P3 在复测时出现了引用,但基线的来源面板缺失,因此没有可配对的引用结果。P2 复测时虽然不再推荐该品牌,却出现了自有网站引用,因此仍纳入引用比较。这两项指标回答的是不同问题。
AI 回答会随运行次数、问题和时间变化。Schulte 等人在 2026 年发表的预印本支持进行重复观察。本例中的重试时间窗口、评分规则与配对程序是该工作流程自行选用的规定。以上计数仅用于描述所采集的样本。《Don’t Measure Once: Measuring Visibility in AI Search》。
5. 决定检查什么,再重新运行整个面板
使用信号确定需要核实的证据;只有指出具体且已验证的问题后,再决定是否修改页面。
| 观察信号 | 证据检查 | 可能采取的行动 |
|---|---|---|
| 品牌没有出现在发现型答案中 | 确认正文是否完整;检查其他可比回答,以及企业的产品是否真的符合问题。 | 若合格产品在官方页面说明不清,补充说明;若样本过少,继续收集可比结果。 |
| 自有引用减少 | 核查来源面板完整性、配对 Prompt、实际 URL,以及是否更换了地址。 | 修复确认属于自己控制范围的失效引用;若来源覆盖范围变化,重新采集。 |
| 答案给出错误业务事实 | 将准确原话与带日期的政策和当前页面文案比较。 | 澄清已经确认的歧义,并记录修改以供复测。 |
| 两轮答案不同 | 检查 Prompt 措辞、界面、设置与网站修改,逐条对照保存的文本。 | 记录差异,再测试,避免将变化直接归因于某一次操作。 |
从可以验证的声明开始。合成 Cedar Finch 案例中,B/P3/a1 声称公司向阿拉斯加配送。首先对照带日期的配送政策和公开网页:政策 POL-03 不包含阿拉斯加,但网页写着“US delivery available(提供美国配送)”。这是网站所有者能够纠正的明确歧义。由于来源面板缺失,无法确认错误回答从何而来。
Cedar Finch 合成修改与复测记录
- 11 月 2 日,B/P3/a1。 用只覆盖美国本土相连 48 州的 POL-03 政策核查阿拉斯加声明,并检查 https://cedarfinch.example/shipping 上笼统的措辞。
- 11 月 4 日,CH-01。 虚构的运营负责人批准将“US delivery available”修改为“We ship to the contiguous 48 states. Alaska delivery is unavailable.”(我们向美国本土相连的 48 州配送,不提供阿拉斯加配送)。
- 11 月 9 日,R/P3/a1。 在相同的记录协议下,回答正确说明了配送政策,并将配送页面列为来源。
在同一平台和尽量相同的条件下重新运行相同 Prompt,并记录已知的界面、模型、设置或网站变化。这个合成复测中,P1 再次明确推荐公司并引用其自有页面;P2 只把 Cedar Finch 作为背景参考,引用了自有 https://cedarfinch.example/spec-guide;P3 正确说明“仅配送到美国本土相连的 48 州”,并链接配送页面;P4 确认该公司接受平面图,但需要审核尺寸,其完整来源面板没有列出任何来源。复测中四次尝试均首次成功。
P3 的答案及其来源在模拟页面修改后发生变化。应记录这种先后顺序,并继续观察,而不是断言修改造成了答案变化。针对自己的网站,先挑一条能够对应到可核实事实的 Prompt,保存证据、记录决定并安排复测。只要面板规模小、有指定同事能够按时运行、有人能检查回答和跟进结果,就可以继续人工监测。若涉及多个平台或市场、经常漏跑、或需要跨团队定期复盘,再考虑托管监测。了解 AI 可见度监测。
附录:合成案例原始记录
下面的日志和编码表均为虚构教学数据。Prompt ID 与第 1 步中固定的原始问题一一对应。两轮均使用虚构的浏览器界面 A、模拟选定美国地区、en-US、启用网页搜索,并为每次尝试开启全新未登录会话;模型版本不可用。日期均为 2026 年,时间为 UTC。
完整合成尝试日志
| 位置 / 尝试 | 时间 | 状态 | 保存的答案或失败详情 | 来源记录 |
|---|---|---|---|---|
| B/P1/a1 | 11 月 2 日 14:00 | 有效 | Cedar Finch Workshop 适合寻找定制橡木接待台的诊所。 | 自有:https://cedarfinch.example/clinic-desks |
| B/P2/a1 | 11 月 2 日 14:01 | 超时 | 没有回答。 | 不适用 |
| B/P2/a2 | 11 月 2 日 14:03 | 有效;对 a1 的重试 | 如果可以确认尺寸,可以考虑 Cedar Finch Workshop;另一个选择是独立工作室。 | 仅第三方:https://tradejournal.example/shop-directory |
| B/P3/a1 | 11 月 2 日 14:04 | 有效 | 是的,Cedar Finch Workshop 向阿拉斯加配送接待台。 | 来源面板不可用;引用状态未知。 |
| B/P4/a1 | 11 月 2 日 14:05 | 超时 | 没有回答。 | 不适用 |
| B/P4/a2 | 11 月 2 日 14:07 | 超时;重试 a1 | 没有回答。 | 不适用 |
| R/P1/a1 | 11 月 9 日 14:00 | 有效 | Cedar Finch Workshop 适合寻找定制橡木接待台的诊所。 | 自有:https://cedarfinch.example/clinic-desks |
| R/P2/a1 | 11 月 9 日 14:01 | 有效 | 独立工作室可能合适;作为背景资料,可参考 Cedar Finch Workshop。 | 自有:https://cedarfinch.example/spec-guide |
| R/P3/a1 | 11 月 9 日 14:02 | 有效 | 不能。Cedar Finch Workshop 只向美国本土相连的 48 州配送。 | 自有:https://cedarfinch.example/shipping |
| R/P4/a1 | 11 月 9 日 14:03 | 有效 | 可以。Cedar Finch Workshop 接受平面图,但需审核尺寸。 | 完整来源面板没有列出来源。 |
完整编码规则
| 指标 | Yes(是) | No(否) | Unknown 或 Not applicable |
|---|---|---|---|
| 提及 | 目标品牌出现在答案正文。已确认身份的别名也可计入。 | 完整正文没有目标品牌;仅出现在来源卡片中不计入本指标。 | 身份或答案完整性尚未确认。 |
| 推荐 | 答案将目标作为明确合适的选项,或附条件的选择;应记录其角色。 | 仅作背景提及、陈述事实,或者完全不出现。 | 角色或身份不清楚。 |
| 自有引用 | 可见来源链接指向经验证属于目标品牌的 URL,保留原链接。 | 完整来源视图没有自有 URL。 | 来源视图不完整,或无法确认页面归属。 |
| 准确性 | 答案至少有一项可核验的品牌声明,且所有合格声明均符合带日期的事实记录。 | 至少一项合格声明与已核实事实矛盾。 | 重大声明无法核实、又没有确认的错误时记 unknown;没有可核验声明时记 NA。 |
原始位置编码
Cedar Finch Workshop 合成答案编码。 Y = 是;N = 否;U = 未知;NA = 不适用。
| Slot | Mention | Recommendation role | Owned citation | Accuracy |
|---|---|---|---|---|
| B/P1 | Y | Y,明确合适 | Y | Y |
| B/P2 | Y | Y,附条件选项 | N | NA |
| B/P3 | Y | N,仅事实陈述 | U | N |
| B/P4 | NA | NA,执行失败 | NA | NA |
| R/P1 | Y | Y,明确合适 | Y | Y |
| R/P2 | Y | N,背景提及 | Y | NA |
| R/P3 | Y | N,仅事实陈述 | Y | Y |
| R/P4 | Y | N,仅事实陈述 | N | Y |