网站的建设模式是指什么时候开始淘宝推广哪种方式最好
大数据技术之Maxwell基础知识
文章目录
- 大数据技术之Maxwell基础知识
- 0、写在前面
- 1、Maxwell 概述
- 1.1 Maxwell 定义
- 1.2 Maxwell 工作原理
- 1.2.1 MySQL 主从复制过程
- 1.2.2 Maxwell 的工作原理
- 1.2.3 MySQL 的 binlog
- 1.3 Maxwell与Cannal对比
- 2. Maxwell 使用
- 2.1 Maxwell 安装部署
- 2.1.1 安装地址
- 2.1.2 安装部署
- 2.1.3 MySQL 环境准备
- 2.1.4 初始化 Maxwell 元数据库
- 2.1.5 Maxwell 进程启动
0、写在前面
1.3.0版本开始不支持JDK8，本文是尚硅谷的教学文档，并加以个人学习记录
- Maxwell版本：
Maxwell1.2.9 - Zookeeper版本：
Zookeeper3.4.5 - Kafka版本：
Kafka2.4.1 - MySQL版本：
MySQL5.7
1、Maxwell 概述
1.1 Maxwell 定义
Maxwell 是由美国 Zendesk 开源，用 Java 编写的 MySQL 实时抓取软件。 实时读取 MySQL 二进制日志 Binlog，并生成JSON格式的消息，作为生产者发送给 Kafka，Kinesis、 RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。
官网地址：http://maxwells-daemon.io/
1.2 Maxwell 工作原理
1.2.1 MySQL 主从复制过程
-
Master 主库将改变记录，写到二进制日志(
binary log)中 -
Slave 从库向 mysql master 发送
dump 协议，将 master 主库的binary log events拷贝到它的中继日志(relay log)； -
Slave 从库读取并重做中继日志中的事件，将改变的数据
同步到自己的数据库。
1.2.2 Maxwell 的工作原理
Maxwell 的工作原理很简单，就是把自己
伪装成 MySQL 的一个 slave，然后以 slave的身份假装从 MySQL(master)复制数据。
1.2.3 MySQL 的 binlog
（1）什么是 binlog
MySQL 的二进制日志可以说 MySQL 最重要的日志了，它记录了所有的 DDL 和DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL 的二进制日志是事务安全型的。
一般来说开启二进制日志大概会有 1%的性能损耗。二进制有两个最重要的使用场景:
-
其一：MySQL Replication 在 Master 端开启binlog，Master 把它的二进制日志传递给 slaves 来达到 master-slave
数据一致的目的。 -
其二：自然就是
数据恢复了，通过使用 mysqlbinlog 工具来使恢复数据。
二进制日志包括两类文件：二进制日志索引文件（文件名后缀为.index）用于记录所有的二进制文件，二进制日志文件（文件名后缀为.00000*）记录数据库所有的 DDL 和DML(除了数据查询语句)语句事件。
（2）binlog 的开启
-
找到 MySQL 配置文件的位置
-
Linux:
/etc/my.cnf
如果/etc 目录下没有，可以通过
locate my.cnf查找位置
-
Windows: MySQL安装目录下的
\my.ini文件-
在 mysql 的配置文件下,修改配置
-
在[mysqld] 区块，设置/添加
log-bin=mysql-bin
-
这个表示binlog 日志的前缀是 mysql-bin，以后生成的日志文件就是 mysql-bin.000001的文件后面的数字按顺序生成，每次 mysql 重启或者到达单个文件大小的阈值时，新生一个文件，按顺序编号。
（3）binlog 的分类设置
mysql的binlog 格式有三种，分别是 STATEMENT，MIXED，ROW。
在配置文件中可以选择配置 binlog_format=statement|mixed|row
三种格式的区别：
- statement
语句级，binlog 会记录每次一执行写操作的语句。
相对 row 模式节省空间，但是可能产生不一致性，比如
update test set create_date=now();
如果用 binlog 日志进行恢复，由于执行时间不同可能产生的数据就不同。
优点： 节省空间
缺点： 有可能造成数据不一致。
- row
行级， binlog 会记录每次操作后每行记录的变化。
优点：保持数据的
绝对一致性。因为不管 sql 是什么，引用了什么函数，他只记录执行后的效果。缺点：占用
较大空间。
- mixed
混合级别，statement 的升级版，一定程度上解决了 statement 模式因为一些情况而造成的数据不一致问题。
默认还是statement，在某些情况下，譬如：
当函数中包含 UUID() 时；
包含 AUTO_INCREMENT 字段的表被更新时；
执行 INSERT DELAYED 语句时；
用 UDF 时；
会按照 ROW 的方式进行处理。
优点：节省空间，同时兼顾了一定的一致性。
缺点：还有些极个别情况依旧会造成不一致，另外 statement 和 mixed 对于需要对
三种方式，binlog 监控的情况都不方便。
综合上面对比，Maxwell 适合做监控分析，选择 row格式比较合适
1.3 Maxwell与Cannal对比
| 对比 | Canal | Maxwell |
|---|---|---|
| 语言 | java | java |
| 数据格式 | 格式自由 | json |
| 采集数据模式 | 增量 | 全量/增量 |
| 数据落地 | 定制 | 支持 kafka 等多种平台 |
| HA | 支持 | 支持 |
2. Maxwell 使用
2.1 Maxwell 安装部署
2.1.1 安装地址
（1） Maxwell 官网地址：http://maxwells-daemon.io/
（2） 文档查看地址：http://maxwells-daemon.io/quickstart/
2.1.2 安装部署
（1） 软件基础，读者需要提前安装好 kafka 和 MySQL，此文档不再赘述。
（2） 上传 maxwell-1.29.2.tar.gz 到/opt/software 下
（3） 解压 maxwell-1.29.2.tar.gz 的安装包到/opt/module 下
[whybigdata@node01 software]$ tar -zxvf maxwell-1.29.2.tar.gz - C /opt/module/
2.1.3 MySQL 环境准备
（1）修改 mysql 的配置文件，开启 MySQL
[whybigdata@node01 software]$ sudo vim /etc/my.cnf
在[mysqld]模块下添加以下内容
[mysqld] server_id=1
log-bin=mysql-bin binlog_format=row
#binlog-do-db=test_maxwell并重启 Mysql 服务
[whybigdata@node01 software]$ sudo systemctl restart mysqld登录 mysql 并查看是否修改完成
[whybigdata@node01 ~]$ mysql -uroot -p123456 mysql> show variables like '%binlog%';
查看下列属性
binlog_format | ROW
binlog-do-db=test_maxwell表示只监控test_maxwell这个库，不加这个参数表示监控所有库;
监控多个库（例如：test_maxwell、my_test）,不能写成「binlog-do-db=test_maxwell,my_test」，必须写成：
binlog-do-db=test_maxwell
binlog-do-db=my_test
如果想监控上百个库，上述方法过于繁琐，可以直接设置不需要监控的库
binlog-ignore-db=test_maxwell_10000
（2）进入/var/lib/mysql 目录，查看 MySQL 生成的 binlog 文件
[whybigdata@node01 ~]$ cd /var/lib/mysql
[whybigdata@node01 mysql]$ sudo ls -l
总用量 188500
-rw-r-----. 1 mysql mysql 154 11 月 17 16:30 mysql-bin.000001
-rw-r-----. 1 mysql mysql 154 11 月 17 16:30 mysql-bin.index
注：MySQL 生成的 binlog 文件初始大小一定是
154字节，然后前缀是 log-bin 参数配置的，后缀是默认从.000001，然后依次递增。除了 binlog 文件文件以外，MySQL 还会额外生产一个.index 索引文件用来记录当前使用的 binlog 文件。
2.1.4 初始化 Maxwell 元数据库
（1） 在 MySQL 中建立一个 maxwell 库用于存储 Maxwell 的元数据
[whybigdata@node01 module]$ mysql -uroot -p123456
mysql> CREATE DATABASE maxwell;
（2） 设置 mysql 用户密码安全级别
mysql> set global validate_password_length=4;
mysql> set global validate_password_policy=0;
此处，如果出现错误，请尝试以下方式：
install plugin validate_password soname 'validate_password.so';
（3） 分配一个账号可以操作该数据库
123456是指你自己设置的maxwell用户的密码
mysql> GRANT ALL ON maxwell.* TO 'maxwell'@'%' IDENTIFIED BY '123456'
（4）分配这个账号可以监控其他数据库的权限
mysql> GRANT SELECT ,REPLICATION SLAVE , REPLICATION CLIENT ON *.* TO maxwell@'%';
（5）刷新权限
mysql> flush privileges;
mysql库下的user表;
2.1.5 Maxwell 进程启动
Maxwell 进程启动方式有如下两种：
（1） 使用命令行参数启动 Maxwell 进程
[whybigdata@node01 maxwell-1.29.2]$ bin/maxwell --user='maxwell' --password='123456' --host='node01'producer=stdout
-
user 连接 mysql 的用户
-
password 连接 mysql 的用户的密码
-
host mysql 安装的主机名
-
producer 生产者模式(stdout：控制台 kafka：kafka 集群)
启动结果
监控实例：新增数据
（2）修改配置文件，定制化启动 Maxwell 进程
[whybigdata@node01 maxwell-1.29.2]$ cp config.properties.example config.properties
[whybigdata@node01 maxwell-1.29.2]$ vim config.properties
[whybigdata@node01 maxwell-1.29.2]$ bin/maxwell -- config ./config.properties
启动结果
监控update的数据
结束！