当前位置: 首页 > news >正文

微信网站开放网络营销和网站推广的区别

微信网站开放,网络营销和网站推广的区别,企业宣传画册制作,山西建设工程造价管理协会网站目录 一、背景现象 二、准备工作 三、代码实现 一、背景现象 最近在做爬虫项目时,爬取的网站,如果发送请求太频繁的话,对方网站会先是响应缓慢,最后是封禁一段时间。一直是拒绝连接,导致程序无法正常预期的爬取数据…

目录

一、背景现象

二、准备工作

三、代码实现


一、背景现象

        最近在做爬虫项目时,爬取的网站,如果发送请求太频繁的话,对方网站会先是响应缓慢,最后是封禁一段时间。一直是拒绝连接,导致程序无法正常预期的爬取数据。针对这种情况,可以使用代理ip请求来规避,同时增加一些随机等待时间(如果性能要求不高)。

二、准备工作

        若要用代理ip去请求,那首先要有一个或多个代理ip。代理ip的获取可以寻找专门搜集提供代理ip的网站(如果有私人或公用的代理ip就更好了),直接使用即可。

        这里注意一般提供的代理ip会有匿名程度,有透明、普匿、高匿等。如果你使用了匿名程度为透明的ip去请求,那么代理ip方会看到你用人家的ip干了什么,就是说你的行为透明化对于代理ip提供方。相反高匿,你的行为不会对代理ip提供方公开。

三、代码实现

        基本思路就是使用代理ip进行请求,获取请求响应返回。使用request库,配置请求代理ip即可。

import requests
import random
from retrying import retry# 代理ip
proxy_list = ['http://ip:port','http://ip:port'
]reqSession = requests.Session()
# # 也可以直接设置全局
# reqSession.proxies = {
#     'http': 'http://121.37.195.205:80',
#     'https': 'http://121.37.195.205:80',
# }@retry(stop_max_attempt_number=10, wait_random_min=10000, wait_random_max=50000)
def get_detail_data(page_url):# 随机选取一个ip使用,避免一直使用一个ip,导致被封禁。one_proxy = random.choice(proxy_list)proxy = {'http': one_proxy,'https:': one_proxy}resPage = reqSession.get(page_url, headers=headers, proxies=proxy, timeout=100)if resPage.status_code != 200:raisereturn resPage.text

四、总结

        虽然现在可以解决ip封禁的问题,但是代码还是有一些隐形问题的。后续如果你使用的代理ip若失效了,但你不知道或没有及时更换的情况。解决办法是将代理ip存储到数据库,另外写一个爬虫程序去收集代理ip,更换数据库里的代理ip。业务爬虫程序读取数据库里的代理ip去进行请求。同时可以设置程序异常发送邮件,这样也可以及时定位问题。

http://www.dinnco.com/news/32633.html

相关文章:

  • java jsp网站开发百度经验官网首页
  • 罗湖网站建设费用无经验能做sem专员
  • 重庆巫溪网站建设中国大数据平台官网
  • wordpress主题无法安装这个包seo推广公司价格
  • 合肥建筑网站百度推广优化师是什么
  • 服务器做网站用什么系统怎么开网店
  • 求网站建设和网页设计的电子书找片子有什么好的关键词推荐
  • 网页升级访问通知天天更新项链seo关键词
  • 旅游电子商务网站模板外贸营销网站制作公司
  • 深圳做响应式网站设计英国搜索引擎
  • 社会题目可以在哪些网站上做成都百度推广账户优化
  • 网站建设武汉网站推广投放
  • 西安网站建设价格热线廊坊推广seo霸屏
  • 开发一个网站需要哪些步骤网站打开速度优化
  • 为什么教育网站做的都很烂友链大全
  • 沧州企业做网站怎么建立自己的企业网站
  • 做网站需要哪些资料中国十大it培训机构排名
  • 企业内部管理网站建设计划百度推广官网网站
  • 我在学校志愿队做网站的经历网络服务提供者不是网络运营者
  • 网站建设免费的百度正式员工工资待遇
  • 网站申请内容吗抖音企业推广
  • 游戏网站建设论坛百度搜索页面
  • 汕头网站建设设计公司微营销系统
  • 网站开发的项目开发计划seo研究所
  • 唐山网站建设.com市场推广方案ppt
  • 谁有网站备案号友点企业网站管理系统
  • 网站app软件下载安装免费网站制作成品
  • 网站维护页面模板网络推广渠道公司
  • java做交互网站系统营销网站建设的因素
  • 南宁公司网站模板建站永久免费域名申请