当前位置: 首页 > news >正文

中英文切换网站怎么做2345网址导航官网

中英文切换网站怎么做,2345网址导航官网,做网站跳转怎么收费,厦门市建设局网站规划标准介绍 由于最近在学习Ruby,写一个爬虫锻炼一下。涉及xml解析、多线程、xpath语法等基础知识。 实现代码 使用说明 使用前请先安装如下gem gem install nokogiri http openssl# nokogiri:一个解析xml和html的库,支持css、xpath语法 # htt…

介绍

由于最近在学习Ruby,写一个爬虫锻炼一下。涉及xml解析、多线程、xpath语法等基础知识。

实现代码

使用说明

使用前请先安装如下gem

gem install  nokogiri http openssl# nokogiri:一个解析xml和html的库,支持css、xpath语法
# http:一个发送http请求的库
源代码
require 'nokogiri'  
require 'openssl'  
require 'time'  
require 'http'  
require 'thread'  # 由于网站涉不良内容,网站已编码,自行研究解码方式  
BASE_URL = 'l5VKR[9`aI10.P;m*LzIh,]@P17&0^F' # AES-128-CBC解密 ,网站图片有加密,需要解密 
def aes_128_cbc_decrypt(encrypted_data, key = 'f5d965df75336270', iv = '97b60394abc2fbe1')  aes = OpenSSL::Cipher.new('aes-128-cbc')  aes.decrypt  aes.key = key  aes.iv = iv  aes.padding = 0  # 禁用填充  aes.update(encrypted_data) + aes.final  
end  # 获取页面  
def get_page_doc(page_url)   begin    # 使用HTTP.follow自动跟随重定向  resp = HTTP.follow.get(page_url)  # 转换为doc  doc = Nokogiri::HTML(resp.body.to_s)  rescue Exception => e  puts e.message  end  doc  
end  # 获取列表页面  
def fetch_list_urls(doc)  page_list = []  urls = []  infos = []  # 获取页面链接地址  doc.xpath('//*[@id="archive"]/article/a/@href').each do |link|  # 添加  urls << BASE_URL + link  end  # 匹配标题及发布时间  doc.xpath('//*[@class="post-card"]/div[2]/div').each do |title|  info = {}  if title.content.gsub(/\s+/,'')!=''  # 获取标题  t = title.xpath('h2[@class="post-card-title"]/text()')[0].content  # 获取发布时间  time_str = title.xpath('div[@class="post-card-info"]/span[2]/@content')[0].content  publish_time = Time.parse(time_str).strftime('%Y/%m/%d')  info['title'] , info['publish_time']= t ,publish_time  infos << info  else  # 内容为空的都为广告  info['title'], info['publish_time'] = '',''  infos << info  end  end  # 转换hash对象  urls.each_with_index do |url, i|  page= {'url' => url,'title'=>infos[i]['title'],'publish_time'=> infos[i]['publish_time']}  page_list << page  end  # 返回page_list  page_list  
end  # 获取某一页的图片  
def fetch_page(title,page_url)   doc = get_page_doc(page_url)  # 去除特殊字符,不然创建目录会失败,windows环境  title = title.gsub(/[“”:、\-*<>?\|\/?!!\s]*/,'')  # filename = "images/#{title}"  filename = File.join(File.dirname($0), "images/#{title}")  unless doc.nil?  # 创建目录  Dir.mkdir(filename) unless Dir.exist?(filename)  # 匹配页面中的图片  urls = doc.xpath('//*[@itemprop="articleBody"]/p/img/@data-xkrkllgl')  # 将url添加进队列  work_queue = Queue.new  urls.each { |img_url| work_queue << img_url }  workers = (1..urls.size).map do |i|  Thread.new(i) do  begin            while (img_url = work_queue.pop(true))  begin  p "下载图片:#{img_url.content}"  # 读取图片数据,设置超时时间为3s  raw_data = HTTP.timeout(3).get(img_url.content).body.to_s  sleep 0.1  # 解密保存  raw_data = aes_128_cbc_decrypt(raw_data)  File.binwrite("#{filename}/image#{i}.jpg", raw_data)  rescue Exception => e  p e.message  next  end            end          rescue ThreadError    end  end    end    workers.map(&:join)  end  
end  def start_crawl  page_index = 1  loop do  begin      url = "#{BASE_URL}category/wpcz/#{page_index}/" # 今日吃瓜页面  p "正在抓取#{page_index}页,地址:#{url}"  doc = get_page_doc(url)  fetch_list_urls(doc).each do |page|  fetch_page(page['title'],page['url'])  end  # 匹配下一页按钮  next_page_xpath = '//*[@class="page-navigator"]/ol/li[@class="btn btn-primary next"]/a/text()'  # 退出抓取的条件  break if  doc.xpath(next_page_xpath)[0].content != "下一页"  # 抓取下一页  page_index += 1  sleep 0.1  rescue Exception => e  p e.message  page_index += 1  next  end  endend  # 执行抓取方法  
if __FILE__==$0  start_crawl  
end

本文由【产品经理不是经理】gzh 同步发布,欢迎关注

http://www.dinnco.com/news/61793.html

相关文章:

  • 昆明北京网站建设商务网站如何推广
  • 河北汉佳 做网站的公司网站建设的整体流程有哪些
  • 网站规划与建设是什么意思国内外搜索引擎大全
  • 哪里建网站便宜网站搭建谷歌seo
  • 专门给小公司做网站青岛网站推广企业
  • 移动网站建设cnfg培训机构seo
  • 网站服务器租用价格网站优化和网站推广
  • 安徽住房城乡建设厅网站高质量外链购买
  • 信游天下网站建设广告营销策略
  • 做搜索网站2021搜索引擎排名
  • 照片书那个网站做的好百度seo培训公司
  • 做网站的公司 成都百度打广告多少钱一个月
  • 如何利用网站做淘宝联盟如何进行搜索引擎优化?
  • html网页设计基础东莞优化seo
  • 陕西建设厅八大员官方网站在线注册免费域名
  • 大都会app可以删记录吗谷歌seo站内优化
  • 怎么发布php网站沧州seo包年优化软件排名
  • win8风格手机网站模板seo搜索引擎优化培训班
  • 做的好点的外贸网站青岛网站
  • wordpress七牛云使用seo个人博客
  • 舆情报告分析结构优化
  • 有网站的源代码怎么生成网站荆州百度推广
  • wordpress分类目录和页面江门seo推广公司
  • 沧州市网站制作公司怎样看网页的友情链接
  • 沈阳网站企业舆情信息在哪里找
  • 网站建设怎么做谷歌浏览器下载app
  • 党风廉政建设网站2023最近爆发的流感叫什么
  • 上市企业网站建设互联广告精准营销
  • jq插件网站百度推广客服中心
  • 管理网站模板下载制作网站推广