【已解决】vps上curl用代理可以抓到，wget就403了。求解

Tou

本帖最后由 Tou 于 2019-8-19 21:18 编辑

爬虫爬目标url禁止国内以外ip所以用了代理
在本地用代理和不用代理情况下
用爬虫，用wget 用curl 加不加User-Agent都可以抓



在vps上wget加代理抓不到，爬虫抓不到，都提示403

但是curl加代理能抓到


这个怎么解？

目标url :
https://account.xici.net

代理IP：http://proxy.httpdaili.com/apinew.asp?sl=3&noinfo=true&ddbh=585820514491655583



更新 21:18 解决

代理加https

robot

为什么你的签名可以图片

lonefly

看看有没有要验证cookie才能访问

babyby168

URL也不放

Tou

babyby168 发表于 2019-8-19 20:25

URL也不放
目标URL：
https://account.xici.net