当前位置: 首页 > news >正文

手机免费自建网站郑州seo学校

手机免费自建网站,郑州seo学校,免费网站模板建站abc,logo图片大全spark sql 数据倾斜–join 同时开窗去重的问题优化 文章目录 spark sql 数据倾斜--join 同时开窗去重的问题优化结论1. 原方案:join步骤时,同时开窗去重数据倾斜 2. 优化2.1 参数调优2.2 SQL优化 背景: 需求:在一张查询日志表中&a…

spark sql 数据倾斜–join 同时开窗去重的问题优化

文章目录

  • spark sql 数据倾斜--join 同时开窗去重的问题优化
    • 结论
    • 1. 原方案:join步骤时,同时开窗去重
      • 数据倾斜
    • 2. 优化
      • 2.1 参数调优
      • 2.2 SQL优化

背景:

需求:在一张查询日志表中,有百亿数据,需要join上维表,再根据几个字段进行去重

结论

开窗去重和join一定要分步进行,按照需求先做join再开窗,或者去重完成后在进行join。

1. 原方案:join步骤时,同时开窗去重

dwd_tmp1 中存在百亿用户查询日志数据

insert into table dws_tmp1 partitions(week='xxxx')
select 
c1,
c2,
c3,
c4,
other..
from(select t1.*,-- 开窗去重row_number row_number() over(partition by c1,c2,c3,d1.c5 order by c1,c3,d1.c5,c2) as rank from dwd_tmp1 t1-- join 维表left join dim_d1 d1 on t1.id=d1.id
)t2
where t2.rank =1

数据倾斜

数据量超百亿,资源给到200 * 2c * 20G,执行引擎为spark。由于环境涉及公司机密,不便放图,只谈生产调优经验。

在执行上面SQL代码,观察调度spark任务信息,总共划分为5个stage【0-4】,stage2 会一直卡顿,shuffle容量膨胀到数百G,点进stage2中,存在几个task 读和写的容量超20G,其他一般都在几百M。经过多次测试stage2卡顿时间在2H左右。

2. 优化

2.1 参数调优

distribute by :只对最后写入数据块的数据分布起效果,对中间的shuffle分区数量无用。

spark.sql.shuffle.partitions:由于提交执行的代码是spark sql,所以设置spark.sql.shuffle.partitions数量;经过分析spark SQL的代码执行计划,该参数配置能有效改变代码执行过程中各个stage的shuffle分区数量。多测测试【600-4000】范围之间,效果并不理想,stage2还是存在卡顿,稍微好一点1.7h。

注意:spark.default.parallelism只有在处理RDD时有效

官网建议: spark.sql.shuffle.partitions设置为当前spark job的总core数量的2~3倍;

2.2 SQL优化

最终回归到SQL问题分析上,将上面SQL拆分,一步一步进行测试执行,发现都执行很快,所以问题直接定位到开窗去重和join同步进行的位置。

最终解决:用子查询进行join之后,再开窗去重(由于开窗去重中有一个字段是需要关联维表获取),效果明显。相同的资源配置参数下,10m完成运行,最后调整合适资源。

http://www.dinnco.com/news/36833.html

相关文章:

  • 网络服务提供者对在业务活动中收集的公民个人电子信息北京网站优化推广公司
  • 深圳网站定制深圳网站建设公司哪家好选择一个产品做营销方案
  • 怎么弄自己的网站百度排名优化软件
  • 太原做网站公司哪家好域名查询注册商
  • 上海网站建设设计公司哪家好常见网络营销推广方法
  • 做公司的网站怎么上线seo搜索引擎优化内容
  • 个人网站 建设方案书竞价培训
  • wordpress 404插件seo推广顾问
  • 寻花问柳-专注做一家男人的网站猪免费做网站
  • python自学网站免费菜鸟教程如何自己搭建网站
  • 如何用was做网站压力测试网店营销与推广策划方案
  • 淘客怎么用网站做如何外贸推广
  • 自媒体还是做网站seo企业优化方案
  • 做英文网站公司宁波seo外包推广公司
  • 做公众好号的网站哪家建设公司网站
  • 用html5设计个人网站百度合伙人官网app
  • 网站打不开是怎么回事google网页版登录入口
  • oss可以做网站根目录吗鹤岗网站seo
  • html5 微信网站太原网站推广排名
  • 做网站公成功的网络营销案例ppt
  • 和平区网站制作最近的疫情情况最新消息
  • 中英双语外贸网站源码seo网站排名助手
  • 道滘仿做网站18款免费软件app下载
  • 网站开发软件解决方案推广普通话奋进新征程手抄报
  • 网站框架设计好后怎么做网络运营推广
  • 中山市饮食网站建设收录优美图片找不到了
  • 网站打不开的解决方法化工seo顾问
  • 网站设计理念介绍宁波好的seo外包公司
  • 推广网站站群电商网站
  • 做一手房用什么网站网站建设合同