博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
爬虫代理的设置
阅读量:4963 次
发布时间:2019-06-12

本文共 1485 字,大约阅读时间需要 4 分钟。

1. requests 中的设置

import requestsimport random# 测试urlurl ='https://www.baidu.com'url2 ='https://httpbin.org/get'# 代理池proxy_pool =['138.201.223.250:31288', '196.13.208.23:8080', '91.197.132.99:53281']def get_content(url,proxy_pool):    # proxy = '138.201.223.250:31288'    proxy = random.choices(proxy_pool)[0]    print('本次使用的代理为:%s'%proxy)    proxies = {        'https':'http://'+proxy,        'http': 'http://' + proxy    }    try :        res = requests.get(url=url,proxies=proxies)        print(res.status_code)        print(res.text)    except requests.exceptions.ConnectionError as e:        print('Error:',e.args)get_content(url2,proxy_pool)# get_content(url,proxy_pool)

2. 在selenium 中的设置

import randomimport requestsfrom selenium import webdriver# 测试urlurl ='https://www.baidu.com'url2 ='http://httpbin.org/get'# 代理池proxy_pool =['138.201.223.250:31288', '196.13.208.23:8080', '91.197.132.99:53281']proxy = random.choices(proxy_pool)[0]chrome_options = webdriver.ChromeOptions() chrome_options.add_argument('--proxy_server=https://%s'%proxy)bro = webdriver.Chrome(chrome_options=chrome_options)bro.get(url)

3. PhantomJS中的设置

from selenium import webdriverurl ='http://www.baidu.com'url2 ='http://httpbin.org/get'service_args =[    '--proxy=196.13.208.23:8080',    '--proxy_type=https']bro =webdriver.PhantomJS(executable_path=r'D:\phantomjs\bin\phantomjs.exe',service_args=service_args)bro.get(url)print(bro.page_source)

待续!

转载于:https://www.cnblogs.com/knighterrant/p/10798366.html

你可能感兴趣的文章
大型网站架构系列:分布式消息队列(二)
查看>>
eclipse git解决冲突
查看>>
如何高效的将excel导入sqlserver
查看>>
江西财经大学第一届程序设计竞赛
查看>>
Flex读取txt文件里的内容(一)
查看>>
蓝桥杯——真题训练之李白打酒
查看>>
大话重构连载5:软件改动的四种动机
查看>>
配置完PA13|PA14|PA15|PB3|PB4后,板子不能下载程序了
查看>>
推荐系统实战(二) —— FM
查看>>
LIGHTOJ 1104 Birthday Paradox 概率题 好玩的题
查看>>
mongoDB查询数据
查看>>
DMZ主机
查看>>
leveldb 源码阅读,细节记录memberTable
查看>>
如何从电脑直接控制安卓手机 监控安卓手机 安卓手机如何控制安卓手机
查看>>
百科知识 天气图标示例
查看>>
C#.NET常见问题(FAQ)-方法参数带ref是什么意思
查看>>
javascript判断数据类型
查看>>
SpringMVC GET请求中文数据传递到Server端乱码
查看>>
eclipse 关闭web项目无用校验
查看>>
js 根据身份证获取出生日期及性别
查看>>