当前位置: 首页 > news >正文

百度关键词网站怎么做最新的疫情信息

百度关键词网站怎么做,最新的疫情信息,wordpress编辑网页,什么官网比较容易做网站代理IP如何选以及常见反爬策略 为什么需要代理? 因为有的网站会封IP,用户如果没有登录,那IP就是身份标识,如果网站发现用户行为异常就非常可能封IP 什么是代理IP 就是让一个人帮你转交请求,帮你转交的人对面不熟&a…

代理IP如何选以及常见反爬策略

为什么需要代理?

因为有的网站会封IP,用户如果没有登录,那IP就是身份标识,如果网站发现用户行为异常就非常可能封IP

什么是代理IP

就是让一个人帮你转交请求,帮你转交的人对面不熟,也就难以发现频繁请求的是你

但是要注意我们只能使用高匿代理,透明代理(转交请求同时告诉是帮谁转交的)什么的是不能用的

如何衡量代理

速度:加代理之后3秒钟能相应是优秀,5秒钟之内能相应是能用的

安全:用来路不明的代理有信息安全风险

价格:性价比需要考虑

请求间隔:有的接口有请求间隔限制,尤其是按时收费的这种,也要考虑

稳定性:失效时间人为设置有长时间的和短时间的,短的1到3分钟,长的几天的都有,越长的越贵,我们用短的就行

比较常用的有芝麻代理,小象代理,快代理,站大爷等等

爬虫选择哪种代理

  1. 高匿代理:需要代理IP池,否则太费代理,太烧钱
  2. 隧道代理
    • 短效版
    • 动态版:以IP生成cookie登录抓取数据 不能满足(IP存活时间短)
  3. 代理客户端:贵,但平均每隔代理几秒一换,比较快
    • 优点:
      • 时间恰当,以IP生成cookie登录抓取数据 也能满足

反爬策略

  1. 封禁IP类

    • 阈值:

      • 打比方,一分钟60次,第一次封禁2分钟,然后策略改为一分钟45次
      • 打比方,一分钟60次,第二天访问同样的内容,则策略改为一分钟45次(增量爬虫,需每天爬取进行数据更新)

      总结:所以有的代理IP可以复活,代理IP池很有必要(后续会发布)

  2. 蜜罐陷阱:网页有正常用户不可访问的链接,爬虫获取并访问此链接将进入无限循环,直到程序崩溃

  3. token加密验签

  4. 检测环境变量:selenium可以检测环境变量,requests访问同样也可以检测环境变量

爬虫策略

  1. 程序模拟抓
    • 可能涉及的问题
      • token加密验签
      • 封禁IP
      • 检测环境变量(不常见)
      • 蜜罐陷阱(不常见)
  2. selenium抓
    • 可能涉及的问题
      • 封禁IP
      • 检测环境变量(可以消除指纹)
  3. selenium被未知手段封禁,山穷水尽:ODR识别(windows鼠标模拟操作、windows鼠标模拟切换IP、windows鼠标模拟访问数据截图、ODR识别获取数据)
    • 弊端:
      • ODR识别不准,需要进行模型训练
      • 慢,识别七八秒钟
    • 适用场景:
      • 适用于只用获取一次数据的项目,不适合增量爬虫

爬虫注意

  1. 不要过于追求爬取速度,速度过快对网站有影响,网站的反爬措施就会更新,对自己没有好处,因为增量爬虫(项目需要维护),不要多进程加协程,一般多进程或者协程即可

更多精致内容

在这里插入图片描述

http://www.dinnco.com/news/35497.html

相关文章:

  • 阿拉善盟网站制作杭州网站建设公司
  • 榆林做网站电话关键词优化到首页怎么做到的
  • 网站改版好吗免费推广有哪些
  • 免费代理服务器proxy广州seo关键词优化是什么
  • 微信小程序功能开发seo外包品牌
  • 专业俄语网站设计网络优化工程师是干什么的
  • 做名片的网站什么是互联网推广
  • ui设计流程培训怎么样潍坊百度关键词优化
  • 崇左做网站公司广州新闻播报
  • 国外做电商平台的网站有什么搜索引擎优化核心
  • 云阳网站建设seo挖关键词
  • wordpress实例站长尾关键词挖掘站长工具
  • 北京网站建设第一品牌我赢网seo优化网站
  • 网站主机安全湖州网站建设制作
  • 怎么可以上传自己做的网站永久8x的最新域名
  • 我的网站突然打不开了国内网络推广渠道
  • 如何绑定网站域名百度搜索关键词排名优化
  • wordpress 自己写云南优化公司
  • 了解网站建设管理百度登录个人中心官网
  • 盐城网站建设招聘哔哩哔哩推广网站
  • 产品开发管理系统seo求职
  • 电商网站 建设北京搜索引擎优化
  • 日本配色的网站推荐中国营销网
  • 网站首页banner动态化seo整站优化技术培训
  • 制作网站规划书百度人工优化
  • dreamweaver是系统软件吗seo搜索优化公司
  • 秦皇岛网站搜索排名网络销售平台排名
  • 网站数据库是什么手游推广渠道和推广方式
  • 做网站的厉害还是黑网站的厉害百度影音在线电影
  • wordpress 微站今日国内新闻大事20条