浏览器访问和模拟蜘蛛不一样，这是那个环节的问题

COOCOO · 发表于 2012-9-15 10:28:22

www.ctrl-f.cn

这个网站，我用浏览器访问一切正常，但是搜索引擎收录不正常，用网上的模拟蜘蛛工具也是提示未beian网站被屏蔽：
http://www.baidu.com/s?wd=www.ctrl-f.cn&rsv_bp=0&rsv_spt=3&rsv_sug3=12&rsv_sug4=785&rsv_sug1=8&inputT=5319
http://i.linkhelper.cn/robots.asp?weburl=www.ctrl-f.cn&pagecode=utf-8

robots.txt也没有问题：

User-agent: *
Disallow: /admin/
Disallow: /include/
Disallow: /config.php

发现其他不少网站也有这个问题，这是哪个环节出问题了呢，求分析。

ccc · 发表于 2012-9-15 10:30:24

收录不正常的很多啊

单手摘月 · 发表于 2012-9-15 10:30:50

原因很多啊

		自动登录	找回密码
密码			立即注册