对于爬虫来说,由于爬虫爬取速度过快,爬取过程中可能遇到一个IP访问过于频繁的问题,此时网站就会让我们输入验证码登陆或直接封锁IP。 使用高匿爬虫隧道转发代理隐藏真实IP,让服务器误以为是代理服务器在请求自己,通过爬取途中不断更换代理,就不会被封锁,就可以达到我们的目的。 如何获取高匿爬虫隧道转发代理: 使用隧道转发代理:
php
// 要访问的目标页面
$url = "http://httpbin.org/ip";
$urls = "https://httpbin.org/ip";
// 代理服务器(产品官网 www.16yun.cn)
define("PROXY_SERVER", "tcp://t.16yun.cn:31111");
// 代理身份信息
define("PROXY_USER", "username");
define("PROXY_PASS", "password");
验证代理: 配置上代理后访问http://current.ip.16yun.cn:802此网站返回代理IP则使用成功。