对于SEO人员来说,百度官方的工具往往是用来查看站点指标是否符合预期。其中,“抓取诊断”是网络管理员经常使用的工具。许多网站管理员说,在网站上使用“抓取诊断”时,经常会有诊断失败的提示,那么问题是什么呢?
Web爬行诊断概述
百度抓取诊断工具,主要是从的角度来了解网站的内容,其结果反馈,代表着蜘蛛对网站内容的理解,通常对失败的站点抓取诊断,与百度蜘蛛爬行有直接关系。
网站“爬行诊断”失败的原因是什么?
1、禁止使用Robots.txt
如果你用机器人屏蔽百度爬行网站的Robots.txt目录,当你在那个目录中生成内容时,百度很难对目录下的内容进行抓取,而抓取诊断也会失败报警。
2、网站访问速度
很多站长说,在本地测试中,我的网站返回了HTTP状态代码200,但是爬行诊断已经显示在爬行中,没有反馈结果。
由于服务器线路的不同,百度蜘蛛抓取速度可能会延迟太长,它会产生明显的可访问性,但会有抓取诊断失败。
当您遇到这个问题时,需要定期监控服务器的访问速度,优化网站的开放速度。
3、cdn缓存更新
我们知道cdn缓存更新需要时间。虽然您在管理平台的后台实时在线更新,但由于不同服务提供商的技术不对称,往往会产生一定的时间延迟。
这将不可避免地导致网站爬行失败。
4、带跳跃的抓取诊断
如果你更新旧内容和修改网站,并使用301或302进行跳转,由于配置错误,重定向次数太多,这也会导致百度爬行失败。
5、DNS缓存服务
由于存在DNS缓存,当您在本地查询URL时,可以正常访问它们,但除去上面提到的全部问题,爬行诊断仍然失败,因此您需要更新本地DNS缓存,或使用代理IP,可以非常顺利地访问检阅站点。
网站“爬行诊断”常见问题:
对于百度抓取诊断工具,顾问被问到的问题最多:百度抓取诊断帮助包括哪些?
从目前许多SEO工作人员的反馈结果来看,没有合理的数据作为支持,这可以证明抓取诊断工具有利于百度收录,但可能对百度快照更新有一定的影响。