当前位置: 首页 > news >正文

青岛网景互联网站建设公司自助建站平台源码

青岛网景互联网站建设公司,自助建站平台源码,wordpress外链插件,手机兼职赚钱一单一结50元MPP 架构 什么是 MPP? MPP 架构是传统数据仓库中常见的技术架构,将单机数据库节点组成集群,从而提升处理性能。 集群中,这些节点间使用非共享架构,每个节点拥有独立的磁盘存储和内存系统,在计算过程中独立…

MPP 架构

什么是 MPP?

MPP 架构是传统数据仓库中常见的技术架构,将单机数据库节点组成集群,从而提升处理性能。

集群中,这些节点间使用非共享架构,每个节点拥有独立的磁盘存储和内存系统,在计算过程中独立运行,而不必去关心整个集群的状态,也不关心其他节点存储的数据信息。

每台数据节点通过专用网络或者商业通用网络互相连接,在计算过程中,如果需要用到其他节点的数据,使用网络进行数据传输、协同计算。

需要注意的是,MPP 集群是作为整体向外提供服务的,每台节点无法单独运行局部程序。

架构优点

MPP 集群的每台节点本质上还是数据库,所以在架构设计上,优先考虑 C(一致性),其次考虑 A(可靠性),尽量做好 P(分区容错性)。

所以每台节点的内存管理方式、运算方式都比较精细,注重锁、事务、内外存交互等细节,从而保证数据一致性。在这种模式下,MPP 各个节点的运算延迟很低;但正因为精细的管理,其吞吐较差,在数据规模达到一定量级后,便成为局限性能的一个瓶颈。

所以 MPP 数据库更适合中等规模的结构化数据处理,性能上有很好的体现。

架构缺点

但 MPP 因为非共享架构,所以其存储位置是不透明的;数据在存储时,通过 Hash 来确定物理节点。但在执行任务时,因无法断定数据的位置,所以查询任务会在所有节点执行。这个是架构所决定的,基本对性能没有影响。

MPP 真正的问题是扩展性,因为 MPP 在并行计算时,单节点瓶颈会成为整个系统的短板;在一个协同运算过程中,当一个节点运行缓慢时,其它节点便会进行等待。当然,缓慢节点可以通过网络将数据传输到其他节点来提升运行速度;但随着集群规模的增大,节点的故障率会逐渐升高,瓶颈就会越发明显。这也是为什么 MPP 数据库的扩展性较差的原因。

而且 MPP 一般致力实现分布式事务,但在分布式环境中实现事务后,扩展性一定会受到影响。

分布式架构

什么是分布式架构?

分布式架构是大数据中常见的技术架构,也称为 Hadoop 架构/批处理架构。

分布式架构组成的集群中,各节点实现场地自治,即可以独立运行局部应用。而在 MPP 架构中是无法做到的,它只能作为一个整体对外提供服务。

因为分布式架构中,数据在集群中是全局透明共享的,每个节点拥有自治的运算资源。而各个节点的存储资源,组成了一个公共的数据存储系统;节点在进行运算时,可以访问公共的数据存储系统,实现数据的透明访问。

分布式架构中对网络的要求不高,每台节点可以通过局域网或广域网相连,因此节点间的通信开销比较大;在计算时,尽量避免数据移动。

架构特点

分布式架构在设计时,优先考虑的是 P(分区容错性),然后是 A(可用性),最后再考虑 C(一致性)。

所以数据被拆分为多个分区后,每个分区又会有多个副本,从而保证容错。这样的话,就解决了单点故障的问题,如果一个节点运行缓慢,可以将节点上的任务取消,然后分发到数据的其它副本节点进行运算。

而且正因为分布式架构中数据一致性的优先级最低,所以它的存储、运算方式粗犷,吞吐量较大;也正是因为这样,在数据量较低的情况下,运行速度远不及 MPP 架构;但数据量一旦超过某个量级,吞吐量的优势会极大的发挥出来。

因为使用了公共的数据存储,所以它的扩展性极强,而且非常适合处理非结构化、半结构化数据。

这种粗犷的方式,非常适合海量数据的存储、处理。但它需要对中间结果进行存储,且数据移动开销较大。

MPP+ 分布式架构

有些大数据数据仓库产品也会采用 MPP+ 分布式架构,融合两者的优点,来提升性能。

这种架构的数据存储层采用分布式架构中的公共存储,提升了分区容错性,也将 MPP 的扩展性得到了质的提升。上层处理架构依然采用 MPP,减少运算的延迟。

MPP+ 分布式架构的数据仓库相对于其它大数据产品来说,延迟低,速度快;所以在实时流处理场景中经常被采用。

小结

MPP 架构和分布式架构的适用场景不同。MPP 适合中等规模的数据处理,延迟低、SQL 支持高是它主要的优势;分布式(批处理)架构更适合海量数据规模的批处理计算,吞吐高、运算速度快、扩展性强是它的优势,而这也是离线批处理数仓所看重的。

MPP+ 分布式架构集成了两者的优势,扩展性强、延迟低、SQL 支持率高,实际上是两者间取了个折中,能够在海量数据规模下依然具有较好的低延迟特性。

这些架构并没有好坏之分,对于不同的场景只有适合和不适合之分。如果使用分布式架构的数据仓库对较少的数据量进行交互式的 SQL 查询,需要 5 分钟,但使用传统数仓只需要 1 秒;那不是产品的问题,而是用错的场景而已。

http://www.dinnco.com/news/35053.html

相关文章:

  • 南阳优化网站排名三只松鼠有趣的软文
  • 企业做网站的意义高级搜索指令
  • 深圳CSS3网站建设价格西地那非片能延时多久每次吃多少
  • 网站使用费用购买域名的网站
  • 网站 内容微博seo营销
  • 怎么看网站是否被k过自己的app如何接广告
  • 南阳做网站 汉狮公司免费个人推广引流平台
  • 专业做网站的公司有哪些百度快照下载
  • 成都h5模板建站中国疫情今天最新消息
  • 适合这手机浏览器主页的网站谷歌下载官方正版
  • wordpress设置上传文件大小限制无锡网站seo顾问
  • 宝安营销型网站设计厦门关键词优化seo
  • 安卓软件开发需要学什么如何优化推广网站
  • 我做的电影网站为什么百度搜索不到百度搜索引擎api
  • 北太平庄网站建设大连网站开发公司
  • 网站内页怎么做seo网络推广十大平台
  • 怎么搜索家附近的公司win7优化软件
  • 专业制作网站是什么企业网页设计制作
  • 公司网站域名管理正规的关键词优化软件
  • 重庆专业的网站建设公司cba最新积分榜
  • h5小游戏在线玩长春seo主管
  • php政府网站源码北京seo主管
  • 泸西网站建设海淀区seo多少钱
  • 电商网站的分辨率电商怎么做营销推广
  • 网站开发常用的开发工具整站优化外包服务
  • 北京建设集团网站首页网页制作公司哪家好
  • 沈阳建站公司模板网页搜索快捷键
  • 网站关键词选取新开网站
  • 同一个空间供应商做很多个网站影响网站排名百度官网首页入口
  • 家具定制网站泉州seo外包