大神请进，有关google蜘蛛

zctr

本帖最后由 zctr 于 2018-11-23 12:49 编辑

我查log，发现一些来自google公司的ip，是一些，不是一个，是一个段的ip。然后，访问的页面是带参数的，而这样子的访问方式，只有在页面输入一些东西之后才能访问，也就是要提交了表单(post方式）才可以。比如，要输入两个城市的名字才行。
我发现那些访问都是输入了中国一些重要城市的名字之后的结果。
难道google的蜘蛛可以这么厉害？

围观者

因为你的站太优秀，谷歌已人工为你定制了爬行规则

fuan

你用的建站源码是主流开源的吗？

zctr

fuan 发表于 2018-11-23 12:50

你用的建站源码是主流开源的吗？
是开源框架(CI)上开发的

zctr

围观者 发表于 2018-11-23 12:52

因为你的站太优秀，谷歌已人工为你定制了爬行规则
真的假的？

riceso

有可能是伪装代理之类吧

weiyoudeo

有可能是伪装成GG的采集器哦

fuan

zctr 发表于 2018-11-24 09:51

是开源框架(CI)上开发的
如果有同行开发类似的网站，可能是针对这类框架爬