企业网站推广如何防范蜘蛛黑洞？

    首先要了解什么是蜘蛛黑洞？蜘蛛黑洞特指网站通过非常低的成本制造出大量内容雷同、参数过多的动态地址，搜索引擎蜘蛛会对这些页面进行抓取，但是由于这些无限循环的“黑洞”，蜘蛛会将这些页面进行大量的抓取，而这些网页内容非常雷同，从而造成资源的浪费。
    这些雷同的网页主要是通过网站的筛选功能产生的，这对于搜索引擎的抓取是很不利，并且浪费资源的，能给用户的使用价值不高。如何减少这些蜘蛛黑洞给搜索引擎及网站带来的负面影响呢？
    我们可以选择利用robots.txt文件的用法来对蜘蛛黑洞进行规避。
    例如，对于普通的筛选结果页，有的网站会选择利用静态链接，如：http://cd.XXXXX.com/weixin/imp/zhancun
    而同样是条件筛选结果页，由于不同的参数和不同的排序条件，如：http://cd.XXXXX.com/weixin/imp/zhancun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek   http://cd.XXXXX.com/weixin/imp/zhancun/hot?mtt=1.index%2Fpoi.0.0.i1afqvy7
    对于以上网站来说，要想展现高质量页面，屏蔽掉内容雷同的网页，方法就是用robots.txt中的文件用户规则进行屏蔽低质动态网页：disallow：/*?*，这就可以帮助企业网站在推广中获得较好的质量网页展示和较高的权重与排名。以此来防止企业网站陷入蜘蛛黑洞的阴影中。
    这种方法和规则可以很好地保护企业网站的运作和运营。
    本文由成都中联无限专业提供，中联无限专业提供成都网站推广服务，转载请注明出处和链接。