1、首先client端(tomcat)将数据写入到master节点的数据库中,master节点会通知存储引擎提交事务,同时会将数据以(基于行、基于SQL、基于混合)的方式保存在二进制文件中。
2、slave节点会开启 I/O 线程,用于监听master的二进制日志的更新,一旦发生更新内容,则向master的dump线程发出同步请求。
3、master的dump线程在接收到salve的I/O请求后,会读取二进制日志文件中更新的数据,并发送给slave的I/O线程。
4、slave的I/O线程接收到数据后,会保存在slave节点的中继日志中。
5、同时,slave节点中的SQL线程,会读取中继日志中的数据,更新在本地的mysql数据库中
6、最终,完成slave---> 复制master数据,达到主从同步的效果。
中继日志通常会位于OS缓存中,所以中继日志的开销很小。
复制过程有一个很重要的限制,即复制在slave上时串行化的,也就是说,master上的并行更新操作不能再slave上并行操作。| 服务器名称 | ip地址 |
|---|---|
| 主服务器 | 10.0.0.100 |
| 从服务器 | 10.0.0.51 |
| 从服务器 | 10.0.0.52 |
主库服务器操作
查看复制线程状态
分析:可以向下查看对应的报错的信息。
先总览看 : last_Error(报错数量) Last_Error(报错原因)
再看IO的报错: Last_IO_Errno: 、Last_IO_Error: 他们之间的信息
读写分离就是只在主服务器上写,只在从服务器上读,基本的原理就是让主数据库处理事务操作,而从数据库处理select查询,数据库复制被用来把主数据库上的事务性操作导致的变更同步的集群中的从数据库。
数据库不一定需要读写分离,如果程序使用数据库交多少,而更新少,查询多的情况下会考虑使用,利用数据库的主从同步,再通过读写分离可以分担数据库的压力,提高性能。
在实际的生产环境中,对数据库的读和写都在同一个数据库服务器中,是不能满足实际需求的。无论是在安全性,高可用性还是高并发等各个方面都不是完全不能满足实际需求的,因此,通过主从复制的方式来同步数据,再通过读写分离来提示数据库的并发负载能力,优点类似于rsync,但是不同的是rsync是对磁盘文件做备份,而mysql主从复制是对数据库中的数据,语句做备份。
在代码中根据select,insert进行分类,这类方法也是目前生产环境应用最广泛的。 优点是性能较好,因为在程序代码中实现,不需要增加额外的设备为硬件开支。 缺点,要开发人员来实现,运维人员无从下手 但是并不是所以应用都适合在程序代码中实现读写分离,像一些大型的java应用,如果在程序代码中实现读写分离对代码的改动就很大。
代理一般位于客户端和服务器之间,代理服务器接受到客户端请求后通过判断后转发到后端数据库, 有以下代表程序
做读写分离必须要做好主从复制的的环境,因为读写分离是基于主从复制的基础上去执行的架构。
| 服务器名称 | ip地址 |
|---|---|
| 主服务器 | 10.0.0.100 |
| 从服务器 | 10.0.0.51 |
| 从服务器 | 10.0.0.52 |
| Amoeba | 10.0.0.5 |
| 验证 | 10.0.0.6 |
Amoeba服务时基于jdk1.5开发的,所有要使用jdk1.5或jdk1.6的版本,不建议使用高版本
因为amoeba需要登录到三台mysql服务器进行读写,所以需要在三台服务器上进行授权。
grant all on *.*测试目的结果:主要验证写是靠matser写入数据,而读取数据时靠两台从服务器(slave)进行读取
主从复制,简单理解就是2个日志文件,三个线程。
二进制文件: 记录数据库变动的信息(语句、变动记录) 中继日志文件: 用于临时存放二进制文件内容。
dump线程: ①监听I/O线程请求。②将二进制日志文件更新的数据发送给slave的I/O线程。 I/O线程: ①监听master主机的二进制文件。②向master的dump线程发出同步请求 SQL线程: 读取中继日志中的文件,更新到本机的数据库。
读写分离,简单来说,就是基于主从复制来进行读和写的操作,但是读和写是分开来的,读是在slave服务器上,写是在master服务器上,这样做的 目的可以很好的缓解master的压力,而且在生产环境中,读的频率要搞,所以salva服务器可以设置多套服务器,使用轮询,权重、哈希的分流策略进行分摊压力。
vim /etc/my.cof
[mysqld]
# join_buffer_size = 128M
# sort_buffer_size = 2M
# read_rnd_buffer_size = 2M
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
log_bin=mysql-bin#开启二进制日志文件
log_slave-updates=true#开启从服务器日志同步
server_id=100
重启
systemctl restart mysqld进入数据库
mysql -uroot -p123456
查看binlog
mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin | ON |
+---------------+-------+
1 row in set (0.00 sec)
mysql> grant replication slave on *.* to 'repl'@'10.0.0.%' identified by '123456@Repl';
给从服务器提权,允许使用slave的身份复制master的所以数据库的所以表,并且指定密码为kya123;
mysql> flush privileges;
刷新权限表
查看master数据库状态
mysql> show master status;
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 | 596 | | | |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
mysql> select user,host,plugin from mysql.user;
+---------------+-----------+-----------------------+
| user | host | plugin |
+---------------+-----------+-----------------------+
| root | localhost | mysql_native_password |
| mysql.session | localhost | mysql_native_password |
| mysql.sys | localhost | mysql_native_password |
| repl | 10.0.0.% | mysql_native_password |
+---------------+-----------+-----------------------+
4 rows in set (0.00 sec)
mysql> show grants for repl@'10.0.0.%';
+-----------------------------------------------------+
| Grants for repl@10.0.0.% |
+-----------------------------------------------------+
| GRANT REPLICATION SLAVE ON *.* TO 'repl'@'10.0.0.%' |
+-----------------------------------------------------+
1 row in set (0.00 sec)vim /etc/my.cnf
[mysqld]
# join_buffer_size = 128M
# sort_buffer_size = 2M
# read_rnd_buffer_size = 2M
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
symbolic-links=0
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
server-id=51 #
relay-log=relay-log-bin#开启中继日志
relay-log-index=slave-relay-bin.index #定义中继日志位置
relay_log_recovery=1#当服务器故障时重新从master重新获取日志
重启
systemctl restart mysqld
52服务器只更改server-id 其他一样
进入数据库
mysql -uroot -p123456;
change master to
master_host='10.0.0.100',
master_port=3306,
master_user='repl',
master_password='123456@Repl',
master_log_file='mysql-bin.000001',
master_log_pos=596,
master_connect_retry=10;
mysql> change master to
-> master_host='10.0.0.100',
-> master_port=3306,
-> master_user='repl',
-> master_password='123456@Repl',
-> master_log_file='mysql-bin.000001',
-> master_log_pos=596,
-> master_connect_retry=10;
Query OK, 0 rows affected, 2 warnings (0.01 sec)
mysql> start slave;
Query OK, 0 rows affected (0.00 sec)
mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 10.0.0.100
Master_User: repl
Master_Port: 3306
Connect_Retry: 10
Master_Log_File: mysql-bin.000001
Read_Master_Log_Pos: 596
Relay_Log_File: relay-log-bin.000002
Relay_Log_Pos: 320
Relay_Master_Log_File: mysql-bin.000001
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 596
Relay_Log_Space: 525
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 100
Master_UUID: dcf36c22-2cde-11ee-8695-000c2920a130
Master_Info_File: /var/lib/mysql/master.info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
1 row in set (0.00 sec)mysql> show processlist;
+----+------+-----------------+------+-------------+------+---------------------------------------------------------------+------------------+
| Id | User | Host | db | Command | Time | State | Info |
+----+------+-----------------+------+-------------+------+---------------------------------------------------------------+------------------+
| 2 | root | localhost | NULL | Query | 0 | starting | show processlist |
| 3 | repl | 10.0.0.51:48160 | NULL | Binlog Dump | 484 | Master has sent all binlog to slave; waiting for more updates | NULL |
| 4 | repl | 10.0.0.52:58214 | NULL | Binlog Dump | 168 | Master has sent all binlog to slave; waiting for more updates | NULL |
+----+------+-----------------+------+-------------+------+---------------------------------------------------------------+------------------+
3 rows in set (0.00 sec)
mysql> show slave hosts;
+-----------+------+------+-----------+--------------------------------------+
| Server_id | Host | Port | Master_id | Slave_UUID |
+-----------+------+------+-----------+--------------------------------------+
| 51 | | 3306 | 100 | df3ccfdd-2cde-11ee-b355-000c2949670c |
| 52 | | 3306 | 100 | e0730b7b-2cde-11ee-8570-000c296ee14d |
+-----------+------+------+-----------+--------------------------------------+
2 rows in set (0.00 sec)
1,show slave status\G
这是查看主从复制状态的,命令
主要是查看返回信息中2个YES
2,当2个线程中存在非yes的情况
我们可以先去查了last_io_error,last_sql_error last_error信息,(最近一下报错的日志信息)
3,作为监控点,提权就绪状态,日志文件位置信息的抓取点
4,报错解决依据之一#问题:slave_IO_Running:NO
1、网络不通
2、my.cnf配置文件有问题
3、change中配置出错,密码、file文件名、pos偏移量与master不相符
4、防火墙没有关闭
#问题:slave_SQL_Running:NO
1、程序可能在slave上进行了写操作
2、也可能是slave机器重起后,事务回滚造成的.
执行这个:set GLOBAL SQL_SLAVE_SKIP_COUNTER=1;cp jdk-6u14-linux-x64.bin /usr/local
#将jdk安装包复制到/usr/local目录下
cd /usr/local/
#进入local目录
chmod +x jdk-6u14-linux-x64.bin
#给安装包执行文件
./jdk-6u14-linux-64.bin
#安装jdk(按空格到最后一行,输入yes按回车)
mv jdk1.6.0_14 jdk1.6
#安装好之后在本地目录下生成jdk1.6.0_14目录,将其该名,方便后续操作
vim /etc/profile #编辑全局配置文件
export JAVA_HOME=/usr/local/jdk1.6 #输出定义java的工作目录
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib #输出指定的java类文件
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin #将java加入工作环境
export AMOEBA_HOME=/usr/local/amoeba #输出定义的amoeba工作目录
export PATH=$PATH:$AMOEBA_HOME/bin #加入路径环境变量
source /etc/profile
#执行群居配置文件
java -version
#查看java版本信息mkdir /usr/local/amoeba
#创建amoeba的安装目录
tar zxvf /opt/amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba
#将amoeba的安装包解压到/usr/local/amoeba目录中
chmod -R 775 /usr/local/amoeba
#给amoeba目录所有的权限
/usr/local/amoeba/bin/amoeba
#开启amoeba(如果显示amoeba start |stop,则说明完成)
[root@lb-5 /usr/local/amoeba]#/usr/local/amoeba/bin/amoeba
The stack size specified is too small, Specify at least 160k
Could not create the Java virtual machine.
出现错误修改
vim amoeba
#DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss128k"
DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss256k"cd /usr/local/amoeba/conf
#进入配置文件
cp amoeba.xml amoeba.xml.bak
#备份实现读写分离的文件
vim amoeba.xml #进行修改配置(全局配置文件信息)
30行 <property name="user">amoeba</property>
#客户端访问amoeba使用的账号
32行 <property name="password">123456</property>
#这里是数据库访问amoeba服务器时使用账号时登录的密码
115行 <property name="defaultPool">master</property>
#修改默认池
118行 <property name="writePool">master</property>
#设置数据库写的池
129行 <property name="readPool">slaves</property>
#设置数据库读的池
--------------------------------------------------------------
小结:amoeba.xml定义的是
用户通过amoeba访问数据库时“登录amoeba代理的账户,密码”。
定义amoeba代理的“读池”和“写池”的名称(读是:slaves,写是:master)
#注意:这是第一个账户:定义的是client登录使用amoebacp dbServers.xml dbServer.xml.bak
#备份数据库配置文件
vim dbServers.xml
#23行 作用:注释!默认进入test库 以防mysql中没有test库时,会报错
<!-- mysql schema
<property name="schema">test</property>
-->
#26修改 作用:访问mysql的账号
<!-- mysql user -->
<property name="user">amoeba</property>
#28-30去掉注释 作用:访问mysql的密码
<property name="password">kya123</property>
#45修改,设置主服务器的名Master,作用:后端数据的一个节点名称
<dbServer name="master" parent="abstractServer">
#48修改,设置主服务器的地址
<property name="ipAddress">192.168.135.91</property>
#52修改,设置从服务器1的名slave1
<dbServer name="slave1" parent="abstractServer">
#55修改,设置从服务器1的地址
<property name="ipAddress">192.168.135.192</property>
#58 复制上面6行粘贴(52开始复制),设置从服务器2的名slave2和地址
<dbServer name="slave2" parent="abstractServer">
<property name="ipAddress">192.168.135.193</property>
#65修改,作用:定义从服务器的池,因为有多个从服务器,主服务器不用,因为只有一个
<dbServer name="slaves" virtual="true">
#71修改,作用:定义具体的从服务器的地址池的名称,跟52和58行要一致
<property name="poolNames">slave1,slave2</property>
#67行 ,作用,定义了三种不同的分流模式,68行按序号选择模式
1、轮序模式,2、提权模式,3、高可用模式
----------------------------------------------------------------------
#小结:dbServers.xml 主要定义了:
amoeba访问mysql数据库的用户和密码
定义了后端的mysql服务器具有的角色及其地址
定义了read poll读池有哪些。/usr/local/amoeba/bin/amoeba start &
netstart -natp |grep java
netstart -natp |grep 8066[root@lb-6 ~]#mysql -uamoeba -pAmoeba@123 -h 10.0.0.5 -P 8066
Welcome to the MariaDB monitor. Commands end with ; or \g.
Your MySQL connection id is 2059580150
Server version: 5.1.45-mysql-amoeba-proxy-2.2.0 MySQL Community Server (GPL)
Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
MySQL [(none)]>
MySQL [(none)]> create database test;
Query OK, 1 row affected (0.01 sec)
MySQL [test]> create table lnb(id int(4) not null,name varchar(50));
Query OK, 0 rows affected (0.01 sec)
MySQL [test]> show tables;
+----------------+
| Tables_in_test |
+----------------+
| lnb |
+----------------+
1 row in set (0.00 sec)
MySQL [(none)]>
分别在三台数据库可以查到
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| ceshi |
| mysql |
| performance_schema |
| sys |
| test |
+--------------------+
6 rows in set (0.00 sec)从库关闭主从复制
mysql> stop slave;
Query OK, 0 rows affected (0.00 sec)
在客户端上进行插入一条数据
MySQL [test]> insert into test.lnb values(1,'100');
Query OK, 1 row affected (0.03 sec)
主库查看
mysql> select * from test.lnb;
+----+------+
| id | name |
+----+------+
| 1 | 100 |
从库查看
select * from test.lnb;
Empty set (0.01 sec)
读测试
从库分别插入数据
10.0.0.52
insert into test.lnb values(1,'52');
Query OK, 1 row affected (0.00 sec)
mysql> start slave;
Query OK, 0 rows affected (0.00 sec)
10.0.0.51
insert into test.lnb values(1,'51');
Query OK, 1 row affected (0.00 sec)
mysql> start slave;
Query OK, 0 rows affected (0.00 sec)
客户端查看
MySQL [test]> select * from lnb;
+----+------+
| id | name |
+----+------+
| 1 | 52 |
| 1 | 100 |
+----+------+
2 rows in set (0.01 sec)
MySQL [test]> select * from lnb;
+----+------+
| id | name |
+----+------+
| 1 | 51 |
| 1 | 100 |
+----+------+
2 rows in set (0.01 sec)