你好，我的完整路径是下面这样:：
jiaoxueziyuan/shijuan/fanwen_12.htm
而百度抓取时好多次只抓取了不完整路径显示404如下:
2010-09-05 03:13:40 W3SVC485830957 202.75.216.89 GET /jiaoxueziyuan/shijuan/fanwen_12.ht- - 80 - 220.181.7.130 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 228 31
这是什么原因呢?
回答：
Baiduspider是从互联网上发现链接并进行抓取的，spider自身并不会修改url，这种情况，通常是互联网上出现过这种错误的链接形式，被spider发现并进行了抓取。
错误的链接有可能来自本站，也可能是互联网上其他网站的推荐，通常前者的可能性更大，建议检查一下是否网站中哪个网页链接写错了。
文章来源：http://blog.vaucl.com/ 《何敏推广博客》
版权所有。转载时必须以链接形式注明作者和原始出处及本声明。
