这个字段可以帮助你迅速定位。
作者:柏霖网络公司发布于://点击量:什么是蜘蛛的referer蜘蛛的referer,是指当百度蜘蛛抓取某一个URL的时候,在HTTP头中带的Referer字段。
这些的URL来自于一套没人维护也没人关注的页面(往往是这样)。
收录流量都不错。
请注意,这个定义和百度最近声明去除Referer中关键词数据没有任何关系。 这次讲的是spier发起的HTTP请求,百度而去除的是用户发起的。
今天偶然仔细查了一下日志,
想起了百度蜘蛛的referer,马上就能定位问题了。
如果站点没有记录referer怎么办iis请在这里勾选“cs(Referer)”:apache请参考:apacheg配置“CmbineLgFrmat”章节apacheg配置的官方链接Nginx请参考:nginxg配置nginxg配置的官方链接·很多SEO问题并不是立即致命的,所以没有及时解决。 流量就像蚂蚁啃大象一样一点一点啃掉了。
·系统性的知识积累还是会在关键时刻发挥作用的。 上一篇:吉林市下一篇:吉林市。
如果百度蜘蛛抓取百度首页的g,会发起这样的请求:上面Referer字段很明确的表示了他是从这个页面上发现并抓取了/img/b_。 而大家在服务器访问日志中也应该能看到相应的记录。
目前发现只有当百度抓取一个网页的同时,又抓取了网页中的:img、js和css才会带上referer字段。
比如我们的SEO日志分析系统中可以看到,符合下面这种URLPattern的路径每天有万到万的抓取而且全部报。
由于最近公司图片系统更新。
从发现问题至今过了个月,查遍整个我也没找到入口。
这部分额外的抓取量,
应该不会占用百度分配的抓取配额,属于“买送”。 如果你发现有一批URL(仅限于img,js,css)报错(xx或者xx),但是一直找不到入口在哪,也就是说你不明白百度蜘蛛是从哪里发现这些错误URL的。