抓取与索引策略实验室

① 发现 URLsitemap、站内或外部入链

② robots.txt是否允许爬虫发起请求

③ HTTP 与权限状态码、认证、正文是否交付

④ robots 指令meta 与 X-Robots-Tag 合并

⑤ 索引处理canonical 是信号，不是保证

① 配置响应证据

模拟匿名搜索爬虫

快速场景

HTTP 状态码

robots.txt

资源类型

meta robots · 索引

meta robots · 跟随

X-Robots-Tag · 索引

X-Robots-Tag · 跟随

canonical

内容保护

sitemap

指向本 URL 的入链

不是排名或收录承诺

能否抓取 —

—

能否看到 NOINDEX —

—

是否可能索引 —

—

是否跟随页面链接 —

—

CHALLENGE 01

载入题目，观察四项预测，再调整左侧配置。