MySQL集群主从切换后的数据同步及恢复主从关系流程
MySQL数据库集群因故障发生主从切换后,为了保证数据一致性,需要同步在切换后可能产生的数据差异,并恢复主从关系。
所需工具
innobackupex(XtraBackup)
工具安装
该工具在各大Linux公有源中都提供有安装包一键部署。请参考官方说明:
MySQL数据库集群因故障发生主从切换后,为了保证数据一致性,需要同步在切换后可能产生的数据差异,并恢复主从关系。
innobackupex(XtraBackup)
该工具在各大Linux公有源中都提供有安装包一键部署。请参考官方说明:
NetApp StorageGRID对象存储集群针对每个租户使用的Bucket,在应用端发起S3请求(GET或PUT)时,可以设置一致性等级。通过配合StorageGRID的多副本机制,来确保数据的安全性及高可用性。针对不同的应用场景及副本保存需求,可以在Bucket上灵活调整这一参数。
要声明对象的一致性等级,需要在发起S3请求时添加x-ntap-sg-consistency
标签。
PUT /bucket?x-ntap-sg-consistency=default HTTP/1.1 Date: Wed, 13 Feb 2019 16:39:17 GMT Authorization: AWS 9MOYPG9ACWPAJA1SXXXX:jUGbYkLdBApjCWBgK4TxvOjxxxx= Host: imno.one
HTTP/1.1 200 OK Date: Wed, 13 Feb 2019 16:44:00 GMT Connection: CLOSE Server: StorageGRID/10.3.0 x-amz-request-id: 12345 Content-Length: 127 Content-Type: application/xml <?xml version="1.0" encoding="UTF-8"?> <Consistency xmlns="http://s3.imno.one/demo/">default</Consistency>
1. All
提供最高的一致性保证。所有节点都会立即接收数据,否则请求失败
NetApp MetroCluster存储双活集群主从的手工切换步骤及常见问题的处理方法。
在尝试进行主从切换前,务必需要确保集群配对状态正常,否则可能会造成脑裂情况。
$ metrocluster check cluster show
1. 当前集群控制切换至对端,强制让对端接管:
Prism中出现如下告警事件:
Latency between CVMs: Latency between CVMs is higher than 15 ms.
出现此告警则表示CVM互Ping延迟较高(超过15ms,一般同一集群内的延迟不应该高于2ms),会影响ZooKeeper及Cassandra服务的稳定性,极端情况下会造成数据复制异常。
集群NCC检查项名称为:inter_cvm_ping_latency_check
对于NetApp StorageGRID对象存储集群,如果单一节点上的对象数量过大时,可能导致Cassandra服务在执行元数据(metadata)压缩任务时Java可用内存不足的情况,进一步导致Cassandra服务频繁崩溃。
查询Server Manager日志,可以发现大量Cassandra服务重启记录:
2018-12-14 02:03:58 +0000 | cassandra | starting cassandra 2018-12-14 02:03:36 +0000 | cassandra | cassandra ended 2018-12-14 01:44:21 +0000 | cassandra | starting cassandra 2018-12-14 01:44:01 +0000 | cassandra | cassandra ended 2018-12-14 01:06:29 +0000 | cassandra | starting cassandra 2018-12-14 01:06:08 +0000 | cassandra | cassandra ended
查询Cassandra日志,可以发现大量Java内存溢出的Error错误: