ip代理服务器搭建(搭建稳定的代理ip池)

一、建立IP代理池的思路:做爬虫时,遇到访问太频繁IP被封是难以避免的,而本地单个IP是不足以进行大规模爬取,并且自己并不想购买付费代理,那么,构建一个IP代理池是非常有必要的。思路如下:图1二、建立IP代理池的步骤:爬取代理IP:搜索选择代理IP网站,选取免费代理;代码如下:#_*_coding:UTF-8_*_ #开发作者:JasonZhang #创建时间:2020/12/2917:58 #文…

ip代理服务器搭建(搭建稳定的代理ip池)

一、建立IP代理池的思路:

做爬虫时,遇到访问太频繁IP被封是难以避免的,而本地单个IP是不足以进行大规模爬取,并且自己并不想购买付费代理,那么,构建一个IP代理池是非常有必要的。思路如下:Python编程:搭建稳定的代理IP池,就不怕被封IP了

图1

二、建立IP 代理池的步骤:

爬取代理IP:搜索选择代理IP网站,选取免费代理;代码如下:

# _*_ coding:UTF-8 _*_# 开发作者:Jason Zhang# 创建时间:2020/12/29 17:58# 文件名称:爬取代理IP.PY# 开发工具:PyCharmimport requestsimport lxml.htmlimport osheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'}url_list = ['http://www.xicidaili.com/nn/%r' % i for i in range(1,10)]ip_list = []for url in url_list:    r = requests.get(url,headers=headers)    etree = lxml.html.fromstring(r.text)    ips = etree.xpath('//tr[@class="odd"]')    for ip in ips:        IP = ip.xpath('//td/text()')        ip = IP[0] +':'+ IP[1]        ip_list.append(ip)f = open('ip.txt','wb')f.write(','.join(ip_list).encode('utf-8'))f.close(

验证代理IP:

通过网络访问来验证代理IP的可用性和访问速度,将之前爬取到的代理IP地址从ip.txt文件中提取出来,分别试用代理IP去访问某个网站首页,仅保留响应时间在2秒内的IP,并保存在QIP.txt中,代码如下:

# _*_ coding:UTF-8 _*_# 开发作者:关中老玉米# 创建时间:2020/12/29 18:27# 文件名称:验证代理IP.PY# 开发工具:PyCharmimport requestsip_list = open('ip.txt').read().split(',')headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'}qurl = 'https://www.baidu.com' #用百度来测试IP是否能正常连网for i in ip_list: #设置超时时间timeout为2 s,超时则为不可用IP    r = requests.get(url, proxies={'http': 'http://' + ip[i]}, headers=headers,timeout=2)    if r.text:        qip.append(qip[i])    else:        continuef = open('quality_ip.txt','wb')f.write(','.join(quality_ip).encode('utf-8'))f.close()

使用代理IP:

建立IP代理池之后,有以下两种使用代理IP的方式。

# _*_ coding:UTF-8 _*_# 开发作者:Jason Zhang# 创建时间:2020/12/31 18:03# 文件名称:使用代理IP.PY# 开发工具:PyCharm# (1)使用随机 IP,代码如下:import randomimport requestsip_list = open('quality_ip.txt').read().split(',')headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'}url = 'http://*********'r = requests.get(url, proxies={'http': 'http://'+random.choice(ip_list)},headers=headers)# (2)因为免费的代理时效很短,在后续的爬取任务中很容易失效,所以当出现访问错误(响应码不等于 200)时,更换 IP,代码如下:ip_list = open('qip.txt').read().split(',')headers = {    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'}for ip in ip_list:    for i in range(len(url_list)):        r = requests.get(url_list[i], proxies={'http': 'http://'+ip},headers=headers)        if r.status_code != 200:            break
趣懂得网所有文章资讯、展示的图片素材等内容均为注册用户上传(部分报媒/平媒内容转载自网络合作媒体),仅供学习参考。用户通过本站上传、发布的任何内容的知识产权归属用户或原始著作权人所有。如有侵犯您的版权,请联系我们1875979182@qq.com 反馈 本站将在三个工作日内改正。
(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022年3月24日 下午2:22
下一篇 2022年3月24日 下午2:22

相关推荐

  • [图文分享]52岁的人身上只有500元,做哪些小生意,能每月收入5000元以上?

    哈喽大家好,今天(2022-02-25 13:00:55)趣懂得小编来给大家分享一下([图文分享]52岁的人身上只有500元,做哪些小生意,能每月收入5000元以上?)这篇文章,下面小编和你具体讲一…

    2022年2月25日
    19
  • 文档管理器软件(手机文件管理app推荐)

    《开源精选》是我们分享Github、Gitee等开源社区中优质项目的栏目,包括技术、学习、实用与各种有趣的内容。本期推荐的是一个突破Windows平台界限的现代文件管理器——Files。Files是一个Windows系统的文件管理器,它利用了系统Windows平台的最新功能,包括FluentDesign、无缝更新和实现用户期望的性能和生命周期行为的API,实现了简化文件体验,动态浏览文件等功能。功…

    2022年3月24日
    16
  • 网站推广步骤(分享7个推广步骤)

    网站建设好之后,要考虑的就是网站推广问题。对于一个网站来说,建得再漂亮,没有流量进来,也等于无用。所以网站推广工作也是至关重要的,对于网站推广来说,也有一定小技巧,先了解这7个推广技巧。一、友情链接交换去友情链接平台和QQ群发链接信息,总有一些跟你一样的新站会乐意跟你交换链接。跟新站换链接,虽然没有权重提升的较大优势,但是还是可以增加不少外链的。搜索引擎优化建议把自己的友情链接做成全站链接,这样跟…

    2022年3月24日
    58
  • aj板鞋搭配什么裤子(耐克AJ鞋报价及穿搭攻略)

    谈起搭配那些事情,我们总是以为上下装是全身搭配的重点,但是真实结果却未必,鞋子就是穿搭中细节之处的展现,如果只顾上下身的搭配风格,鞋子的风格不适合,那么造型看起来会很别扭,整体的搭配就垮了。正所谓人红是非多,鞋子也不例外,AJ鞋子最近几年突然就火了起来,自然而然对于它的争论也从未停止过,很多人都将它当作宝贝,从之前不打篮球的球迷根本就不会买AJ,演变到现在是个人都知道AJ这一款鞋,对于潮流圈来说,…

    2022年3月24日
    37
  • [图文分享]市场上,2000元能做的小生意,有哪些可以一天收入三五百元的?

    哈喽大家好,今天(2022-02-25 13:16:56)趣懂得小编来给大家分享一下([图文分享]市场上,2000元能做的小生意,有哪些可以一天收入三五百元的?)这篇文章,下面小编和你具体讲一下[图…

    2022年2月25日
    27

发表评论

您的电子邮箱地址不会被公开。

趣懂得网专注解决用户生活至学习知识,更多百科知识请关注趣懂得网!