Category Archives

19 Articles
笔记

对NetApp StorageGRID对象存储中的Bucket发起S3请求时的一致性等级

Posted on

NetApp StorageGRID对象存储集群针对每个租户使用的Bucket，在应用端发起S3请求（GET或PUT）时，可以设置一致性等级。通过配合StorageGRID的多副本机制，来确保数据的安全性及高可用性。针对不同的应用场景及副本保存需求，可以在Bucket上灵活调整这一参数。

要声明对象的一致性等级，需要在发起S3请求时添加x-ntap-sg-consistency标签。

S3请求示例

PUT /bucket?x-ntap-sg-consistency=default HTTP/1.1
Date: Wed, 13 Feb 2019 16:39:17 GMT
Authorization: AWS 9MOYPG9ACWPAJA1SXXXX:jUGbYkLdBApjCWBgK4TxvOjxxxx=
Host: imno.one

S3应答示例

HTTP/1.1 200 OK
Date: Wed, 13 Feb 2019 16:44:00 GMT
Connection: CLOSE
Server: StorageGRID/10.3.0
x-amz-request-id: 12345
Content-Length: 127
Content-Type: application/xml
<?xml version="1.0" encoding="UTF-8"?>
    <Consistency xmlns="http://s3.imno.one/demo/">default</Consistency>

可选的一致性参数

1. All提供最高的一致性保证。所有节点都会立即接收数据，否则请求失败 阅读全文

笔记

NetApp MetroCluster存储双活集群主从的手工切换

Posted on

NetApp MetroCluster存储双活集群主从的手工切换步骤及常见问题的处理方法。

检查MetroCluster集群状态

在尝试进行主从切换前，务必需要确保集群配对状态正常，否则可能会造成脑裂情况。

$ metrocluster check cluster show

手动触发主从集群切换

1. 当前集群控制切换至对端，强制让对端接管： 阅读全文

笔记

Nutanix集群出现CVM间高网络延迟问题的分析

Posted on

问题描述

Prism中出现如下告警事件：

Latency between CVMs: Latency between CVMs is higher than 15 ms.

出现此告警则表示CVM互Ping延迟较高（超过15ms，一般同一集群内的延迟不应该高于2ms），会影响ZooKeeper及Cassandra服务的稳定性，极端情况下会造成数据复制异常。

集群NCC检查项名称为：inter_cvm_ping_latency_check 阅读全文

笔记

调整NetApp StorageGRID对象存储集群中单节点的Java Heap池大小

Posted on

问题描述

对于NetApp StorageGRID对象存储集群，如果单一节点上的对象数量过大时，可能导致Cassandra服务在执行元数据（metadata）压缩任务时Java可用内存不足的情况，进一步导致Cassandra服务频繁崩溃。

问题现象

查询Server Manager日志，可以发现大量Cassandra服务重启记录：

2018-12-14 02:03:58 +0000 | cassandra | starting cassandra
2018-12-14 02:03:36 +0000 | cassandra | cassandra ended
2018-12-14 01:44:21 +0000 | cassandra | starting cassandra
2018-12-14 01:44:01 +0000 | cassandra | cassandra ended
2018-12-14 01:06:29 +0000 | cassandra | starting cassandra
2018-12-14 01:06:08 +0000 | cassandra | cassandra ended

查询Cassandra日志，可以发现大量Java内存溢出的Error错误： 阅读全文

笔记

Nutanix集群上ZooKeeper服务异常问题的排查

Posted on

Nutanix集群使用ZooKeeper来管理集群内所有节点的数据复制状态。ZooKeeper服务异常会导致集群的高可用性降低，数据跨节点复制任务出错。因此当集群报ZooKeeper服务不正常时需要人工进行确认。

NCC检查指令

$ ncc health_checks system_checks zkinfo_check_plugin

NCC指令结果

#错误类型1：
#提示ZooKeeper服务没有在部分CVM上正常运行
Zookeeper service is not running on all CVMs.

#错误类型2：
#提示ZooKeeper节点不活跃
All zookeeper servers are not active. Inactive servers are zk*:XXXX (ZooKeeper PID)
Could not check status of zookeeper server zk* at XXXX

#错误类型3：
#提示ZooKeeper服务建立的连接数太多（正常在单个进程有不多于40/55个连接数）
There are XX open connections from XX.XX.XX.XX to zk*

排查方法

确认CVM上ZooKeeper主机记录是否正常

0. SSH登陆到ZooKeeper服务存在问题的节点CVM上。

1. 确认存在ZooKeeper主机IP的host记录： 阅读全文