用discuz做企业站robots要屏蔽这些位置不让蜘蛛爬取

21fanqie

用discuz做企业站，如果没有除了门户以外的内容，robots要屏蔽这些位置不让蜘蛛爬取：

1.要屏蔽论坛部分
2.要屏蔽群组部分
3.要屏蔽家园部分

具体写法是在原有的robots后面加上要屏蔽的部分：
原有robots：http://www.21fanqie.com/thread-605-1-1.html
在其后空一行，加上以下内容：

游客，如果您要查看本帖隐藏内容请回复

解释一下理由：
1.因为discuz默认模板使用的网站实在太多了，所以使用默认模板的网站基本上一开始就被百度降权了。或许被认为是克隆网站，从而不收录页面。要添加大量的原创内容才能改变搜索引擎对网站的印象。
2.某些网站的内容属于个人私密文件，不想暴露在搜索引擎中，能够节约服务器带宽和网站拜访速度。
3.迅速增加企业门户和文章的权重和拜访量；
4.为搜索引擎供给一个简洁明了的索引环境。

                               
登录/注册后可看大图

       后台要装一个监测蜘蛛爬行的插件，一开始要每天查看蜘蛛的爬行页面，一旦发现爬行了不必要的页面，就要在robots中屏蔽。这样可以加速企业首页、文章列表页和文章详情页的收录。

                               
登录/注册后可看大图

       另外要注意，如果安装了tag插件的，要看伪静态后，原来的动态链接是否还可以访问。如果可以访问，那就要301到伪静态连接上，或用robots屏蔽掉对动态链接的访问。