mysql5.7的并行复制

本文主要是介绍mysql5.7的并行复制，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

#####################################

问题描述：

               随着业务的规模越来越大，数据库的读写压力也会越来越大，一般地，mysql的架构为一主多从，实现读写分离，读的压力往往可以通过添加从库实例来解决，然而写压力就只有主库独自承担，主库可以并行写入数据。

               而从库在默认情况下，只能单线程重放主库的binlog，从库通过一个io线程去拉取主库的binlog并写到从库的relay log，然后再通过从库的一个sql线程将relay log重放一次，通常地主库和从库均部署在同一个机房，因此io线程不会是性能瓶颈，sql线程往往才是性能的瓶颈。

               这个时候，主库写数据压力大，这就导致从库的sql线程来不及消化relay log，也就是主库写数据量很大，但是从库重放relay log的速度太慢，这就导致一个严重的问题，主从延迟越来越大，那么从从库读取的数据就很久之前的过期数据了。

如何解决：在线开启从库的并行复制，同时将开启双0：

                  开启从库的并行复制，

1) 开启双0，提高性能，降低安全性，从库实例较多，挂掉一个从库实例没啥影响

mysql> set global sync_binlog=0; 

mysql> set global innodb_flush_log_at_trx_commit=0;

2)查看当前并行复制配置：

mysql> show variables like 'slave_parallel_%';

+------------------------+---------------+

| Variable_name          | Value         |

+------------------------+---------------+

| slave_parallel_type    | database |

| slave_parallel_workers | 0             |

+------------------------+---------------+

2 rows in set (0.00 sec)

# slave-parallel-type        默认值为database，但是针对只有一个数据库的集群而言，配置为database就没意义了，建议配置为logical_clock

# slave-parallel-workers      默认值为0，建议至少配置为4

3)关闭sql线程：

在线开启：

mysql> stop slave sql_thread;

Query OK, 0 rows affected (0.07 sec)

4)开启基于组提交的并行复制

mysql> set global slave_parallel_type='LOGICAL_CLOCK';

Query OK, 0 rows affected (0.00 sec)

5)配置从库worker线程数，不要配置为0和1，建议至少配置为4

mysql> set global slave_parallel_workers=16;

Query OK, 0 rows affected (0.00 sec)

6)开启sql线程：

mysql> start slave sql_thread;

Query OK, 0 rows affected (0.06 sec)

7)

root@10.10.10.10 ((none)) > show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Queueing master event to the relay log
                  Master_Host: 10.10.10.11
                  Master_User: mysqlsync
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.037977
          Read_Master_Log_Pos: 766436384
               Relay_Log_File: relay-bin.111125
                Relay_Log_Pos: 766243914
        Relay_Master_Log_File: mysql-bin.037977
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB: 
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: 
                   Last_Errno: 0
                   Last_Error: 
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 766243709
              Relay_Log_Space: 766436825
              Until_Condition: None
               Until_Log_File: 
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File: 
           Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
               Master_SSL_Key: 
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error: 
               Last_SQL_Errno: 0
               Last_SQL_Error: 
  Replicate_Ignore_Server_Ids: 
             Master_Server_Id: 113123925
                  Master_UUID: 465c12f1-bbc2-11ea-9fcb-e4434be4b111
             Master_Info_File: mysql.slave_master_info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
           Master_Retry_Count: 86400
                  Master_Bind: 
      Last_IO_Error_Timestamp: 
     Last_SQL_Error_Timestamp: 
               Master_SSL_Crl: 
           Master_SSL_Crlpath: 
           Retrieved_Gtid_Set: 
            Executed_Gtid_Set: 
                Auto_Position: 0
         Replicate_Rewrite_DB: 
                 Channel_Name: 
           Master_TLS_Version: 
1 row in set (0.04 sec)

Mon Aug 30 10:41:29 2021

优化选项：

启用table模式是因为如果在多线程模式下，会频繁更新master.info文件，消耗代价过高，并且此值也不是非常准确

master_info_repository=table  对应的表为mysql.slave_master_info

relay_log_recovery=on          

relay_log_info_repository=table 对应的表为mysql.slave_relay_log_info

my.cnf对应的配置如下：

# slave
slave-parallel-type=LOGICAL_CLOCK
slave-parallel-workers=16
master_info_repository=TABLE
relay_log_info_repository=TABLE
relay_log_recovery=ON
innodb_flush_log_at_trx_commit=0
sync_binlog=0

#####################################

这篇关于mysql5.7的并行复制的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！