MySQL5.7版本单节点大数据量迁移到PXC8.0版本集群全记录-1

2021/12/23 19:12:14

本文主要是介绍MySQL5.7版本单节点大数据量迁移到PXC8.0版本集群全记录-1,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

一个5.7版本的MySQL单点数据库,版本信息是:
Server version: 5.7.31-log MySQL Community Server (GPL)
数据量已达到760G,日常存在性能问题,需迁移到PXC集群,由于之前几年实施使用的都是8.0版本PXC集群,这次也想当然的想直接迁移到PXC8.0。

鉴于数据量比较巨大,采用mysqldump的方式显然是不可行的,实际上项目反馈也是无法用mysqldump备份成功,mysqldump备份几百兆、几个G还是可行的,但是面对上百G的数据量已经无能为力。好在percona有XtraBackup这个备份工具,给我们做MySQL的大数据量迁移创造了便利条件。

■ 安装xtrabackup
注意:xtrabackup8.0只支持mysql8.0以上的版本,mysql5.7或以下需要使用xtrabackup8.0以下的版本
XtraBackup各版本之间的区别如下:
8.0仅支持mysql8.0
2.4专针对5.7开发,兼容5.6,5.5
2.3针对5.6开发,兼容5.5
2.2针对5.5开发

在percona官网可以方便的找到PXC以及xtrabackup各个版本的介质,xtrabackup位于:
https://www.percona.com/downloads/Percona-XtraBackup-2.4/LATEST/
可以直接下载bundle版本的介质,离线安装:
yum install percona-xtrabackup-24-2.4.9-1.el7.x86_64.rpm
安装报错缺少libev,如下安装libev即可
yum install libev-4.15-7.el7.x86_64.rpm
本次还遇见如下错误:

Error: Package: perl-DBD-MySQL-4.023-5.el7.x86_64 (centos7)
           Requires: libmysqlclient.so.18()(64bit)
Error: Package: perl-DBD-MySQL-4.023-5.el7.x86_64 (centos7)
           Requires: libmysqlclient.so.18(libmysqlclient_18)(64bit)
Error: Package: 2:postfix-2.10.1-6.el7.x86_64 (@anaconda)
           Requires: libmysqlclient.so.18(libmysqlclient_18)(64bit)
Error: Package: 2:postfix-2.10.1-6.el7.x86_64 (@anaconda)
           Requires: libmysqlclient.so.18()(64bit)

查询libmysqlclient.so,维度确实缺少libmysqlclient.so.18
[root@localhost soft]# find / -name libmysqlclient.so*
/usr/lib64/mysql/libmysqlclient.so.20
/usr/lib64/mysql/libmysqlclient.so.20.3.18
因此需确认这个lib库来自哪里,网搜查到的原因在于没有安装mysql-community-libs-compat包
到mysql官网下载:https://downloads.mysql.com/archives/community/
https://downloads.mysql.com/archives/get/p/23/file/mysql-community-libs-compat-5.7.31-1.el7.x86_64.rpm
安装上这个lib包:
yum install mysql-community-libs-compat-5.7.31-1.el7.x86_64.rpm
之后再次安装xtrabackup就可以了

■ 以下开始备份
mkdir -p /u01/xtrabackup
xtrabackup --user=root --password='passwd' --backup --target-dir=/u01/xtrabackup > xtrabackup.log 2>&1 &

211119 17:35:56 开始备份
211119 21:33:33 completed OK!
备份数据总计:
759G xtrabackup
第一次备份未开并发,耗时接近4个小时
后续开多并发备份,直接写到较快的nfs上,耗时大幅减少!

注:可新增一个复制权限的用户用于备份

create user 'backup'@'localhost' identified by 'backup';
grant reload, lock tables, process, replication client on *.* to 'backup'@'localhost';
flush privileges;

■ 在PXC 8.0.23集群还原数据库
这是一个3节点集群,计划还原在节点1。
先停掉节点1的PXC服务,包括keepalived、proxysql、mysql@bootstrap
根据源库的my.cnf配置文件,建立新的my.cnf配置文件
之后根据文档“异机恢复”(本站网搜可得)操作,准备全备份的日志时,报错如下:

[root@mysqldb1:0 /u01/mysql]# xtrabackup --prepare --apply-log-only --target-dir=/u01/nfs18/xtrabackup
xtrabackup: [Warning] option 'innodb_undo_tablespaces': unsigned value 0 adjusted to 2.
xtrabackup: recognized server arguments: --innodb_checksum_algorithm=crc32 --innodb_data_file_path=ibdata1:12M:autoextend --innodb_log_files_in_group=2 --innodb_log_file_size=50331648 --innodb_page_size=16384 --innodb_log_block_size=512 --innodb_undo_directory=./ --innodb_undo_tablespaces=0 --server-id=1 
xtrabackup: recognized client arguments: --prepare=1 --apply-log-only=1 --target-dir=/u01/nfs18/xtrabackup 
xtrabackup version 8.0.23-16 based on MySQL server 8.0.23 Linux (x86_64) (revision id: 934bc8f)
xtrabackup: cd to /u01/nfs18/xtrabackup/
xtrabackup: This target seems to be not prepared yet.
Number of pools: 1
xtrabackup: error: Unsupported redo log format 1
This version of Percona XtraBackup can only perform backups and restores against MySQL 8.0 and Percona Server 8.0, please use Percona Xtrabackup 2.4 for this database.

可见,没法使用8.0版本的XtraBackup恢复24版本的备份!
看来只能降级PXC集群版本到5.7了。

■ 卸载已有的PXC8版本,安装PXC57
从percona官网下载对应版本的cluster介质、xtrabackup介质
https://www.percona.com/downloads/Percona-XtraDB-Cluster-57/LATEST/
安装比较简单。

■ 根据源库配置修改新的配置文件
注意新的配置涉及多个配置文件,为避免可能的错误,需要全部确认所有的配置参数没有问题,否则可能会有意想不到的惊喜(错误)
这里涉及到一个MySQL数据库及集群的理解过程,边学习边实践也是挺有意思的,无知者无畏嘛,真是越学习越发现自己的肤浅啊。

之后就是正常的恢复、启动过程,由于本机硬盘IO性能达到800MB/s的写入速度,恢复仅用时半个多小时。
但启动时遭遇pid文件不存在、文件权限、log文件不存在等问题,逐一破解即可,最后成功启动了。
下一步就是集群构建、数据重新全迁移、增量同步、短时间割接的问题了,后文再叙。



这篇关于MySQL5.7版本单节点大数据量迁移到PXC8.0版本集群全记录-1的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程