百度sitemap提交后，抓取失败，提示“连接超时”大概率是因为robots封禁

21fanqie

百度sitemap提交后，抓取失败，提示连接超时大概率是因为robots封禁，详见：http://www.leetao.cc/seoyouhua/1320.html


这个时候要用到百度的“抓取诊断”工具来测试

      如果还时提示抓取失败，那么要点进去看看原因

      如果最后提示robots封禁，那要复查是否有封禁，如果没有封禁，可以提交报错。用上图中的Robots工具来测试sitemap地址是否被封禁了。

这是百度的指导文件：https://ziyuan.baidu.com/college ... #h2_article_title29

【robots封禁问题】
       在抓取诊断工具中如果返回的抓取失败结论是robots封禁，请确认您是否对该网址设置了robots，阻止百度spider抓取网站的某些内容，如果您未使用robots文件屏蔽百度，请点击旁边的报错链接，百度会立即更新您站点的robots信息；如果是您的误操作导致了封禁，请及时修改robots文件，避免造成您的网站在百度收录量和流量的下降。