从百度的SEO角度去处理网站无效URL

前段时间听同事说起国内一线B2C网站都有一个“SEO通病”，那就是每个B2C网站都有条件过滤系统，却会产生过多的无效URL页面，如何从百度的SEO角度去处理网站无效URL，成为急需解决的问题。由于，最近手上也接到一个B2C网站，那么从百度的SEO角度上去考虑，我们该如何解决无效的URL页面不被收录？

有同事说把URL地址改成动态的，越动态越好，我却不这么认为。现如今，不管是百度或者谷歌，还是新崛起的搜搜亦或是雅虎和bing，随着技术的不断改进，这些搜索引擎对于动态URL页面的收录也是越来越好，所以把无效URL页面的地址改成动态，此方法是行不通的。

有同事说应用robots文件，针对robots，我个人感觉也不是特别好的方法，robots确实可以禁止搜索引擎收录那些无效的URL页面，但是链接到无效URL页面的权重，也是一去不复还了，那些权重只有进去的，却没有出来的，因为某个页面如果没有被爬取，没有被索引，当然搜索引擎是不会知道该页面的其它URL的，那么不知道其它URL页面，权重就无法导出，也就成了只有导入的权重，却没有导出的权重，成了权重的死胡同。

有同事说应用nofollow标签，我个人认为针对百度该方法能够很好的解决该问题。我们部门经理告知：百度现在已经推出了搜索引擎优化指南2.0版本电子书，明确的提到了百度对于nofollow标签的作用。那么，我们只要在条件过滤系统中加上nofollow标签问题就迎刃而解了，那么针对百度来说，百度就不会把权重导入到那些链接，且百度蜘蛛也不会抓取那些带有nofollow标签的链接所对应的页面，既然蜘蛛不抓取，当然也就不会被收录了，而且很好的解决了权重流失问题。



从图中大家可以了解到的信息就是百度是支持nofollow标签的，同时百度对于拥有nofollow标签的链接是不传递权重的。

优化robots文件对于SEO是很有必要的，最后针对我们部门在书写robots文件时，存在的不规范性和不统一性，以及存在的分歧和误区，给大家分享一下如何更加合理有效的运用这个“君子协议”，从而达到节省网站的资源，还可以帮助蜘蛛更加有效的抓取，从而提高网站排名。如果实在不知道如何书写的，就看知名和优秀案例的网站他们的robots文件，然后根据自己的需求进行相应的修改哦。

1：只允许谷歌bot

如果要拦截除谷歌bot之外的所有爬虫：

User-agent：*

disallow：/

Uer-agent：允许的蜘蛛名

Disallow：

2：“/folder/”和“/folder”的区别

举个例子：

User-agent：*

Disallow：/folder/

Disallow：/folder

“Disallow：/folder/”表示拦截的是一个目录，该目录文件下的所有文件不允许被抓取，但是允许抓取folder.hlml。

“Disallow：/folder”：对/folder/下的所有文件和folder.html都不能被抓取。

3：“*”匹配任意字符

User-agent：*

表示屏蔽所有的蜘蛛。当我们做了伪静态处理之后，会同时又动态网页和静态网页，网页内容一模一样，视为镜态页面，所以我们要屏蔽掉动态的网页，可以用*号来屏蔽动态的网页

User-agent：*

Disallow：/?*?/

4：$匹配网址结束

如果要拦截以某个字符串结束的网址，就可以使用$，例如，要拦截以.asp结束的网址：

User-agent：*

Disallow：/*.asp$