当前位置: 首页 > news >正文

哈尔滨松北区建设局网站发稿网

哈尔滨松北区建设局网站,发稿网,营销型网站建设服务商,网站建设多少钱一个月Kafka系列之:记录一次Kafka Topic分区扩容,但是下游flink消费者没有自动消费新的分区的解决方法 一、背景二、解决方法三、实现自动发现新的分区一、背景 生产环境Kafka集群压力大,Topic读写压力大,消费的lag比较大,因此通过扩容Topic的分区,增大Topic的读写性能理论上下…

Kafka系列之:记录一次Kafka Topic分区扩容,但是下游flink消费者没有自动消费新的分区的解决方法

  • 一、背景
  • 二、解决方法
  • 三、实现自动发现新的分区

一、背景

  • 生产环境Kafka集群压力大,Topic读写压力大,消费的lag比较大,因此通过扩容Topic的分区,增大Topic的读写性能
  • 理论上下游消费者应该能够自动消费到新的分区,例如flume消费到了新的分区,但是实际情况是存在flink消费者没有消费到新的分区

在这里插入图片描述

二、解决方法

出现无法消费topic新的分区这种情况,最简单的解决方法是

  • 重启flink消费者程序

三、实现自动发现新的分区

flink程序增加自动发现分区参数:

  • flink.partition-discovery.interval-millis是一个配置属性,用于设置Flink作业中的分区发现间隔时间(以毫秒为单位)。
  • 在Flink作业中,数据源(例如Kafka或文件系统)的分区可能会发生变化。为了及时感知分区的变化情况,并根据变化进行相应的处理,Flink提供了分区发现机制。
  • f
http://www.dinnco.com/news/66143.html

相关文章:

  • 网站设计的主要步骤查关键词
  • 九江网站设计公司营销咨询公司排名前十
  • 国外的一些网站新手做电商怎么起步
  • 小区安全网站开发论文seo推广专员
  • 济南著名网站建设自助建站网站哪个好
  • 佛山网站建设哪个好点外链交易平台
  • 昵图网免费素材广东seo外包服务
  • 腾讯企业邮箱网页版登录入口seo外包公司报价
  • 各类手机网站建设株洲seo优化推荐
  • 教做世界美食的网站谷歌seo运营
  • 网站建设找哪个平台企业网站怎么注册
  • 怎么做快三彩票网站关键词是什么
  • 南阳网站制作容易被百度收录的网站
  • wordpress盲注seo查询是什么意思
  • 公司支付网站服务费怎么做分录如何在百度上发表文章
  • 做网站销售说辞数据分析师就业前景
  • 无锡网站制作推广深圳网站做优化哪家公司好
  • 无锡网站制作供应seo是什么工作内容
  • 网站做直链下载存储解决方案韩国热搜榜
  • 网站推广的主要方法有哪些贷款客户大数据精准获客
  • 做公司网站宣传公司4p营销理论
  • 网络营销的发展趋势googleseo优化
  • wordpress实时聊天南京seo排名公司
  • 做服装搭配图的网站有哪些互联网推广好做吗
  • 公司外宣网站含有友情链接的网页
  • 阿里巴巴网站图片怎么做北京培训机构
  • 网店网站设计论文如何做网站
  • 公司网站制作银川网站外包
  • 中央人民政府赣州seo
  • 西安网站建设熊掌大数据分析网站