MySQL集群主从切换后的数据同步及恢复主从关系流程
MySQL数据库集群因故障发生主从切换后，为了保证数据一致性，需要同步在切换后可能产生的数据差异，并恢复主从关系。
所需工具
innobackupex（XtraBackup）
工具安装
该工具在各大Linux公有源中都提供有安装包一键部署。请参考官方说明：
MySQL数据库集群因故障发生主从切换后，为了保证数据一致性，需要同步在切换后可能产生的数据差异，并恢复主从关系。
innobackupex（XtraBackup）
该工具在各大Linux公有源中都提供有安装包一键部署。请参考官方说明：
NetApp StorageGRID对象存储集群针对每个租户使用的Bucket，在应用端发起S3请求（GET或PUT）时，可以设置一致性等级。通过配合StorageGRID的多副本机制，来确保数据的安全性及高可用性。针对不同的应用场景及副本保存需求，可以在Bucket上灵活调整这一参数。
要声明对象的一致性等级，需要在发起S3请求时添加x-ntap-sg-consistency标签。
PUT /bucket?x-ntap-sg-consistency=default HTTP/1.1 Date: Wed, 13 Feb 2019 16:39:17 GMT Authorization: AWS 9MOYPG9ACWPAJA1SXXXX:jUGbYkLdBApjCWBgK4TxvOjxxxx= Host: imno.one
HTTP/1.1 200 OK Date: Wed, 13 Feb 2019 16:44:00 GMT Connection: CLOSE Server: StorageGRID/10.3.0 x-amz-request-id: 12345 Content-Length: 127 Content-Type: application/xml <?xml version="1.0" encoding="UTF-8"?> <Consistency xmlns="http://s3.imno.one/demo/">default</Consistency>
1. All 提供最高的一致性保证。所有节点都会立即接收数据，否则请求失败
NetApp MetroCluster存储双活集群主从的手工切换步骤及常见问题的处理方法。
在尝试进行主从切换前，务必需要确保集群配对状态正常，否则可能会造成脑裂情况。
$ metrocluster check cluster show
1. 当前集群控制切换至对端，强制让对端接管：
Prism中出现如下告警事件：
Latency between CVMs: Latency between CVMs is higher than 15 ms.
出现此告警则表示CVM互Ping延迟较高（超过15ms，一般同一集群内的延迟不应该高于2ms），会影响ZooKeeper及Cassandra服务的稳定性，极端情况下会造成数据复制异常。
集群NCC检查项名称为：inter_cvm_ping_latency_check
对于NetApp StorageGRID对象存储集群，如果单一节点上的对象数量过大时，可能导致Cassandra服务在执行元数据（metadata）压缩任务时Java可用内存不足的情况，进一步导致Cassandra服务频繁崩溃。
查询Server Manager日志，可以发现大量Cassandra服务重启记录：
2018-12-14 02:03:58 +0000 | cassandra | starting cassandra 2018-12-14 02:03:36 +0000 | cassandra | cassandra ended 2018-12-14 01:44:21 +0000 | cassandra | starting cassandra 2018-12-14 01:44:01 +0000 | cassandra | cassandra ended 2018-12-14 01:06:29 +0000 | cassandra | starting cassandra 2018-12-14 01:06:08 +0000 | cassandra | cassandra ended
查询Cassandra日志，可以发现大量Java内存溢出的Error错误：