dzx2.5怎么解决重复抓取页面问题？

炮炮兵

我最近做了个论坛，发现论坛的地址被蜘蛛重复抓取，这样对论坛的优化是致命的，为解决这个问题，我查了好多资料，最后跪求了一个半分钟就能解决问题的方法，现在分享给大家。。。

通过修改robots.txt把这样的页面屏蔽掉，我们在根目录里找到robots.txt文件，在最后加上Disallow: /?*  这个句即可解决问题。。
其他关于这方面的知识，参考http://www.fwqlt.com

bg7758

  我昨天都想到这个思路了 居然没想到这一点