dzx2.5怎么解决重复抓取页面问题？
我最近做了个论坛，发现论坛的地址被蜘蛛重复抓取，这样对论坛的优化是致命的，为解决这个问题，我查了好多资料，最后跪求了一个半分钟就能解决问题的方法，现在分享给大家。。。通过修改robots.txt把这样的页面屏蔽掉，我们在根目录里找到robots.txt文件，在最后加上Disallow: /?*这个句即可解决问题。。
其他关于这方面的知识，参考http://www.fwqlt.com
cry.gif
我昨天都想到这个思路了 居然没想到这一点
页:
[1]