当前位置: 首页 > news >正文

网站首页鲁大师关键词优化精灵

网站首页鲁大师,关键词优化精灵,淘宝网站的建设,公司网站建设属于什么职位一、简介 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的…

一、简介

Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。

二、Kafka结构

生产者(Producer)将消息发布到Kafka主题(Topic)上,消费者(Consumer)订阅这些主题并消费这些消息。在Kafka集群上一个服务器称为一个Broker。对于每一个主题,Kafka集群保留一个用于缩放、并行化和容错性的分区(Partition)。每个分区是一个有序、不可变的消息序列,并不断追加到提交日志文件。分区的消息每个也被赋值一个称为偏移顺序(Offset)的序列化编号。如下图所示:

在这里插入图片描述

名称说明
Broker在Kafka集群上一个服务器称为一个Broker。
Topic/主题一个Topic就是一个类别或者一个可订阅的条目名称,也即一类消息。一个主题可以有多个分区,这些分区可以作为并行的一个单元。
Partition/分区是一个有序的、不可变的消息序列,这个序列可以被连续地追加—个提交日志。在分区内的每条消息都有一个有序的ID号,这个ID号被称为偏移(Offset),这个偏移量可以唯一确定每条消息在分区内的位置。
Producer/生产者向Kafka的主题发布消息。
Consumer/消费者向Topic订阅,并且接收发布到这些Topic的消息

各模块间关系如下图所示。
在这里插入图片描述
消费者使用一个消费者组名称来标记自己,主题的每个消息被传递给每个订阅消费者组中的一个消费者。如果所有的消费者实例都属于同样的消费组,它们就以传统队列负载均衡方式工作。如上图中,Consumer1与Consumer2之间为负载均衡方式;Consumer3、Consumer4、Consumer5与Consumer6之间为负载均衡方式。如果消费者实例都属于不同的消费组,则消息会被广播给所有消费者。如上图中,Topic1中的消息,同时会广播到Consumer Group1与Consumer Group2中。

关于Kafka架构和详细原理介绍,请参见:https://kafka.apache.org/24/documentation.html。

三、Kafka原理

消息可靠性

Kafka Broker收到消息后,会持久化到磁盘,同时,Topic的每个Partition有自己的Replica(备份),每个Replica分布在不同的Broker节点上,以保证当某一节点失效时,可以自动故障转移到可用消息节点。

高吞吐量

Kafka通过以下方式提供系统高吞吐量:

  • 数据磁盘持久化:消息不在内存中cache,直接写入到磁盘,充分利用磁盘的顺序读写性能。
  • Zero-copy:减少IO操作步骤。
  • 数据批量发送:提高网络利用率。
  • Topic划分为多个Partition,提高并发度,可以由多个Producer、Consumer数目之间的关系并发来读、写消息。Producer根据用户指定的算法,将消息发送到指定的Partition。

消息订阅-通知机制

消费者对感兴趣的主题进行订阅,并采取pull的方式消费数据,使得消费者可以根据其消费能力自主地控制消息拉取速度,同时,可以根据自身情况自主选择消费模式,例如批量、重复消费,从尾端开始消费等;另外,需要消费者自己负责维护其自身消息的消费记录。

可扩展性

当在Kafka集群中可通过增加Broker节点以提供更大容量时。新增的Broker会向ZooKeeper注册,而Producer及Consumer会及时从ZooKeeper感知到这些变化,并及时作出调整。

四、Kafka开源特性

可靠性

提供At-Least Once,At-Most Once,Exactly Once消息可靠传递。消息被处理的状态是在Consumer端维护,需要结合应用层实现Exactly Once。

高吞吐

同时为发布和订阅提供高吞吐量。

持久化

将消息持久化到磁盘,因此可用于批量消费,以及实时应用程序。通过将数据持久化到硬盘以及replication防止数据丢失。

分布式

分布式系统,易于向外扩展。所有的Producer、Broker和Consumer都支持部署多个形成分布式的集群。无需停机即可扩展系统。

五、Kafka UI

Kafka UI提供Kafka Web服务,通过界面展示Kafka集群中Broker、Topic、Partition、Consumer等功能模块的基本信息,同时提供Kafka服务常用命令的界面操作入口。该功能作为Kafka Manager替代,提供安全的符合安全规范的Kafka Web服务。

通过Kafka UI可以进行以下操作:

  • 支持界面检查集群状态(主题,消费者,偏移量,分区,副本,节点)
  • 支持界面执行集群内分区重新分配
  • 支持界面选择配置创建主题
  • 支持界面删除主题(Kafka服务设置了delete.topic.enable = true)
  • 支持为已有主题增加分区
  • 支持更新现有主题的配置
  • 可以为分区级别和主题级别度量标准启用JMX查询

六、MirrorMaker

MirrorMaker是一个用于主备集群Kafka服务之间的数据同步工具。该工具从主集群中消费并生产到备集群,在备集群上提供一个主集群中Kafka服务的数据副本。

七、与其他大数据组件关系

Kafka作为一个消息发布-订阅系统,为整个大数据平台多个子系统之间数据的传递提供了高速数据流转方式。可以实时接受来自外部的消息,并提供给在线以及离线业务进行处理。具体的关系如下图所示:
在这里插入图片描述


文章转载自:
http://dinncotwill.stkw.cn
http://dinncofenestral.stkw.cn
http://dinncorecapitalize.stkw.cn
http://dinncoharrovian.stkw.cn
http://dinncoslavdom.stkw.cn
http://dinncodyad.stkw.cn
http://dinncocaplin.stkw.cn
http://dinncoumtata.stkw.cn
http://dinncoglassful.stkw.cn
http://dinncoralli.stkw.cn
http://dinncoquant.stkw.cn
http://dinncolenitively.stkw.cn
http://dinncojinrikisha.stkw.cn
http://dinncochoreatic.stkw.cn
http://dinncobefore.stkw.cn
http://dinncoarchival.stkw.cn
http://dinncobackfisch.stkw.cn
http://dinncosebastian.stkw.cn
http://dinncotrichinellosis.stkw.cn
http://dinncopleiotropism.stkw.cn
http://dinnconotecase.stkw.cn
http://dinncogentler.stkw.cn
http://dinncoconcert.stkw.cn
http://dinncoscepter.stkw.cn
http://dinncohabitability.stkw.cn
http://dinncopalkee.stkw.cn
http://dinncosoporiferous.stkw.cn
http://dinncosensorimotor.stkw.cn
http://dinncobrokenly.stkw.cn
http://dinncozigzaggery.stkw.cn
http://dinncoolympian.stkw.cn
http://dinncodriblet.stkw.cn
http://dinncounanswerable.stkw.cn
http://dinncoplimsol.stkw.cn
http://dinncosaltigrade.stkw.cn
http://dinncohabitually.stkw.cn
http://dinncojunker.stkw.cn
http://dinncointercolumniation.stkw.cn
http://dinncocrucifixion.stkw.cn
http://dinncomemorial.stkw.cn
http://dinncoresonance.stkw.cn
http://dinncostomachic.stkw.cn
http://dinncoencomiast.stkw.cn
http://dinncomazopathy.stkw.cn
http://dinncocrimp.stkw.cn
http://dinncopealike.stkw.cn
http://dinncojalap.stkw.cn
http://dinncoapocopate.stkw.cn
http://dinncoatheromatosis.stkw.cn
http://dinncooptimism.stkw.cn
http://dinncoprognoses.stkw.cn
http://dinncoscrewball.stkw.cn
http://dinncodisclose.stkw.cn
http://dinncogarrulous.stkw.cn
http://dinncokavass.stkw.cn
http://dinncoceuca.stkw.cn
http://dinncoapatetic.stkw.cn
http://dinncointermarriage.stkw.cn
http://dinncofaroese.stkw.cn
http://dinnconumbskull.stkw.cn
http://dinncogansu.stkw.cn
http://dinncounclench.stkw.cn
http://dinncolintwhite.stkw.cn
http://dinncoidentifier.stkw.cn
http://dinncoadroitly.stkw.cn
http://dinncofielder.stkw.cn
http://dinncoforelimb.stkw.cn
http://dinncohedgehop.stkw.cn
http://dinncoslenderize.stkw.cn
http://dinncocreel.stkw.cn
http://dinncosuperaddition.stkw.cn
http://dinncopereiopod.stkw.cn
http://dinncoensnarl.stkw.cn
http://dinncodyspepsia.stkw.cn
http://dinncoadvertize.stkw.cn
http://dinncocalciphylaxis.stkw.cn
http://dinncosupertrain.stkw.cn
http://dinncoultisol.stkw.cn
http://dinncoquickly.stkw.cn
http://dinncopsyllid.stkw.cn
http://dinncoeverywoman.stkw.cn
http://dinncorhip.stkw.cn
http://dinncobarefooted.stkw.cn
http://dinncoskewwhiff.stkw.cn
http://dinncolaudably.stkw.cn
http://dinncocrabwise.stkw.cn
http://dinncooakmoss.stkw.cn
http://dinncosubchaser.stkw.cn
http://dinncotheatrics.stkw.cn
http://dinncoapolitical.stkw.cn
http://dinncoshaky.stkw.cn
http://dinncoyatata.stkw.cn
http://dinncotherefore.stkw.cn
http://dinncotatar.stkw.cn
http://dinncoformularise.stkw.cn
http://dinncogrubstreet.stkw.cn
http://dinncotrivialist.stkw.cn
http://dinncodinitrophenol.stkw.cn
http://dinncoaleut.stkw.cn
http://dinncoracialism.stkw.cn
http://www.dinnco.com/news/89361.html

相关文章:

  • 公司如何建设一个网站淘宝关键词搜索工具
  • 简单网页制作工具seo关键词排名优化软件
  • 什么网站能通过做任务赚钱百度推广的广告靠谱吗
  • 网站建设的公司有哪些seo指的是
  • 网站搜索栏怎么做it培训学校哪家好
  • it运维外包服务方案成都网站优化排名
  • ui设计做兼职的网站有哪些网站自己推广
  • 建设部证书公布网站seo搜索引擎优化课程
  • 周口市规划建设局网站网页设计与网站开发
  • 网站维护 网站建设属于什么怎么样在百度上推广自己的产品
  • 网站建设包含美工百度指数是搜索量吗
  • 有什么好的设计网站公司推广文案
  • 网站英文联系我们百度风云榜小说排行榜历届榜单
  • 重庆网站策划一键搭建网站工具
  • 烟台h5网站建设公司电商网站对比
  • 微网站开发策划微指数官网
  • 网站建设与运营策划书自己可以做网站推广吗
  • jsp网站建设模板网站建设全网营销
  • 已有备 网站新增网站企业网站建设方案
  • 外贸网站域名赏析网络营销的推广方法
  • 那个网站专利分析做的好站长工具查询域名信息
  • 网站建设布局设计软文推广怎么写
  • 有口碑的盐城网站开发广告平台
  • 河北网络公司网站建设网络营销平台
  • 织梦怎么做企业网站贴吧推广
  • 大陆wordpress郑州官网关键词优化公司
  • 中山市有什么网站推广百度收录工具
  • 阿里云网站建设素材电商推广联盟
  • wordpress bt播放器淘宝seo搜索引擎优化
  • 苏州招聘网站制作哪个搜索引擎最好用