网问答>>百度spider无法抓取站点如何解决?
问题
已解决

百度spider无法抓取站点如何解决?

时间:2021-01-17 10:05:53
用自己的服务器搭建网站,百度无法抓取站点内容,请各位大佬支招
最佳回答
首先你要检查一下robots.txt文件是否设置正确,然后看网站打开是否正常,还要看网站速度是否正常。以上这几点都有可能曩蜘蛛抓取的,如果有问题就忙处理。还有一种情况,有时候是蜘蛛自己的问题。这个我以前就遇到过。你可以尝试搜狗或360抓取是否正常,如果是正常的,那应该问题不在你,可以暂时不管它。
时间:2021-01-17 10:05:55
需要注意的是你的服务器设置,查看是否禁止的爬虫的IP段,还有就是页面代码,是nofollow。服务器的稳定性也很重要,你可以用whois等工具反查一下,查看是否有服务器错常见的4xx,5xx错误。
时间:2021-01-17 10:06:01
本类最有帮助
Copyright © 2008-2013 www.wangwenda.com All rights reserved.冀ICP备12000710号-1
投诉邮箱: