域名信息查询参数组合无限增长时怎样定义有效地址集合
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /5881d80c4ef5.html
📄
域名信息查询参数组合无限增长时怎样定义有效地址集合
不能把“样本里能打开”当作有效地址的判定标准。参数组合一旦无限增长，有效地址集合必须由规则定义，而不是由枚举结果定义：先确定哪些参数参与地址身份，再规定取值域和组合方式，最后用可复现的判定函数把任意 URL 映射为“有效 / 无效 / 待定”。样本只用来检验规则，不用来充当规则。
矛盾现象：样本全通过，规模化后却出现例外
小规模抽样时，每个带参数的地址都能返回内容，于是很容易得出“参数不影响有效性”的结论。规模扩大后却出现两类例外：一类是同一路径叠加不同参数后返回相同内容，另一类是叠加到一定数量后返回错误页或空页。这说明样本成立的条件是“参数种类少、组合深度低”，一旦突破这个边界，结论就不再可搬运。
把这种边界写清楚，比给出一个通过率更有用。至少要说明：样本覆盖了哪些参数名、每个参数取了多少个值、组合深度到几层。任何一项没覆盖，结论就只能限定在已覆盖范围内。
两种解释：参数是身份的一部分，还是仅作修饰
对同一现象有两种成立条件不同的解释。
- 解释一：参数参与地址身份。不同参数值对应不同内容，因此每个组合都是独立有效地址。此时有效集合是笛卡尔积，规模随参数个数指数增长，必须为取值域设上限。
- 解释二：参数只是修饰。参数影响展示但不改变核心内容，因此有效集合应按路径归一化，参数被剥离或排序后去重。此时有效集合接近路径数量，增长可控。
两种解释不能同时用于同一批地址。选错会导致两种相反的错误：按解释一处理，会把大量重复地址当成独立页面；按解释二处理，会把真正不同的内容合并掉。
区分两种解释的证据
能区分它们的证据是内容差异，而不是状态码。可执行的动作是：固定路径，只改变一个参数，比较返回正文的主体部分。
- 若正文主体随参数值变化，且变化部分不是导航、页脚等公共区域，支持解释一。
- 若正文主体不变，仅排序、分页位置或高亮状态变化，支持解释二。
- 若部分参数改变主体、部分不改变，则需按参数名分组，而不是对整个路径下统一结论。
这个动作的结果直接决定下一步：若支持解释一，下一步是为每个参与身份的参数定义有限取值域；若支持解释二，下一步是定义归一化规则，并明确哪些参数在归一化时被保留。
用判定函数定义有效集合
把规则写成一个可复现的判定函数，比维护一份地址清单更稳。假设（仅为说明比较方法）某路径有三个可选参数，每个参数只允许两个取值，组合深度最多两层：
isValid(url) = 路径在白名单内 且 参数名在允许集合内 且 每个参数取值在枚举内 且 参数个数不超过2
这个假设下，有效组合数量是可计算的有限值。若实际参数取值是开放集合（如任意关键词、任意时间戳），则无论组合深度多少，有效集合都无法穷举，必须改为“取值域规则 + 采样验证”，并接受判定函数只能给出待定而非确定结论。
需要区分的是：robots.txt 的抓取限制不等于可靠的索引移除，站点地图也不保证收录。因此判定函数定义的是“哪些地址值得纳入管理范围”，而不是“哪些地址一定会被处理”。这两件事不能互相替代。
规模化后的边界与复查条件
规则上线后，样本仍会失效，因为参数来源可能新增。复查条件应绑定在参数名集合的变化上，而不是固定时间间隔：一旦出现允许集合之外的新参数名，就重新执行单参数内容差异比较，再决定把它归入身份参数、修饰参数还是排除项。
如果请求量、抓取量或某项统计突然归零，不能单独作为规则正确的证据。合理解释还包括：上游链接结构变化、参数被统一重写、访问路径被其他入口替代。要确认规则是否生效，应回到判定函数本身，检查输入地址是否仍落在允许集合内，而不是只看总量指标。
最终要保留的是一份可解释的边界说明：哪些参数参与身份、取值域如何限定、归一化时保留什么、新增参数时按什么流程复查。样本只能证明规则在已覆盖范围内成立，不能代替规则本身。
