自定义404错误页：源站正常而边缘节点异常时应保留哪些证据
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /f11bc4a55154.html
📄
自定义404错误页：源站正常而边缘节点异常时应保留哪些证据
当源站直接返回的404页正确，而用户经边缘节点看到错误页、默认页或空白页时，应优先保留四类可核对的证据：同一URL在源站与边缘节点的完整响应头、边缘缓存对该URL的命中与缓存键信息、边缘节点返回的响应体或其哈希、以及带时间戳的请求标识。这四类证据能把“源站没问题”和“边缘有问题”从口头分歧变成可复核的对照记录。
先固定一个假设情境，再决定要留什么
假设某站点把自定义404错误页部署在源站，运维在源站本机用 curl -I 看到状态码404、响应头带自定义标记，页面内容也正确；但部分用户经边缘节点访问不存在的路径时，拿到的是边缘默认错误页。此时团队里常见三种说法：开发说源站正常，运维说边缘配置没动过，SEO说搜索引擎可能已经抓到了错误页。三种说法都不算错，但都无法单独定案。
把分歧变成可核对项目的做法，是让每一方都指向同一组证据，而不是各自复述结论。关键动作是：选一个确定不存在的测试路径，例如 /this-path-should-404-abc，在尽量接近同一时间点分别从源站和边缘节点发起请求，并把两次响应完整保存。这一步的结果决定了后续讨论方向——如果两边响应头中的状态码、缓存状态、页面标记不一致，问题就落在边缘节点；如果一致，则要重新检查是否真的经过了边缘节点，或是否命中了不同的缓存变体。
必须保留的响应证据与缓存证据
响应头是最容易被忽略又最有分辨力的一类证据。保存时不要只截状态码，应保留完整头部，重点看状态码、内容类型、缓存相关字段、边缘节点标识字段、请求ID，以及源站自定义的标记头。假设源站返回404且带自定义标记，边缘节点返回200或返回不带标记的404，这两种情况指向的原因不同：前者更像边缘把错误响应替换或兜底了，后者更像边缘自有一套404处理逻辑覆盖了源站响应体。
缓存证据用于回答“这个URL是不是被边缘缓存过”。需要保留的是：该URL在边缘的缓存状态（命中、未命中、绕过等）、缓存键由哪些部分组成、缓存生效时间与过期时间。一个常见陷阱是缓存键只按路径计算，忽略了可能影响错误页输出的请求头；这样即使源站正确，边缘也可能长期返回某一份旧响应。保留缓存键构成，才能判断是缓存策略问题还是回源问题。
响应体证据同样要留。最省事的做法是保存页面正文并计算哈希值，同时记录字节数。这样做的价值在于：后续任何人再抓一次，只要哈希不同，就能证明边缘返回的内容发生了变化，而不是靠肉眼比对页面“看起来差不多”。
时间戳、请求标识与复现条件缺一不可
只有响应内容而没有时间和请求标识，证据很快会失效，因为边缘节点和缓存状态随时在变。建议每条证据都记录：抓取时间（含时区）、请求使用的完整URL、请求方法、关键请求头、发起位置（源站本机、办公网络、外部探测点）、以及响应中的请求ID或追踪标识。
这些字段的作用是支持复现。若两次抓取结果不同，可以按时间顺序排列，观察是否与缓存刷新、配置发布或流量变化在时间上重合。需要注意，时间上的重合只是线索，不能直接当作因果；统计上的同步变化也可能来自无关的发布动作或第三方变更。
还有一个容易被跳过的条件：确认请求确实走了边缘节点。如果测试机通过内网直连源站，或DNS被本地解析到源站地址，那么“边缘异常”的结论从一开始就不成立。保留请求实际连接的目标地址或节点标识，是排除这类误判的必要一步。
用证据分流，而不是先争论责任
把上面的证据摆齐后，通常可以按下面的顺序分流：
- 源站与边缘的响应头状态码不一致——先查边缘对错误响应的处理与缓存规则，而不是改源站页面。
- 状态码一致但响应体哈希不同——查边缘是否缓存了旧版本，或是否存在多份缓存变体。
- 两边完全一致但仍有人看到错误页——查该用户的解析路径、代理设置或本地缓存，问题可能不在边缘节点本身。
- 证据显示边缘缓存键遗漏了影响输出的请求头——调整缓存键或对错误页设置不缓存，然后重新抓取验证。
每一步的动作都应产生新的可比对记录。例如对错误页设置不缓存后，再次从边缘抓取，如果响应头中缓存状态变为绕过且页面与源站一致，说明该方向有效；如果仍不一致，则说明问题不在缓存层，需要继续查边缘的错误页兜底配置。
证据保留的边界与常见误判
保留证据不等于无限期保存全部响应体。对高频URL，可以只保留响应头、哈希和字节数，正文按需抽样；对确认异常的少数URL，再保留完整响应体。这样既能支撑判断，也不会让记录本身变成负担。
还要避免几个误判：抓取量或某类请求量归零，不能单独证明边缘已恢复正常，也可能是探测任务停止或路径被屏蔽；边缘返回404也不等于源站返回404，两者必须分别核对；自定义404错误页返回404状态码本身是合理设计，不应仅因状态码是404就判定异常。把“谁看到的”“什么时候看到的”“经过哪条路径”三件事写清楚，分歧才有可能收敛到同一个可验证的结论上。
