一、Ceph集群状态
Ceph是一个分布式、自我治理的存储系统，可以通过使用普通服务器和网络。Ceph集群可以通过简单的命令行工具或Web界面轻松设置和管理。在Ceph集群中，节点和设备的故障是常见的。为了确保整个集群的持久性和可用性，Ceph使用数据复制和数据擦除来防止数据丢失和硬件故障。
Ceph集群中的两个重要组件是OSD（Object Storage Daemon）和Monitor。 OSD是Ceph使用的对象存储守护进程，它负责实际存储和检索数据。Monitor监视节点的状态，为客户端和OSD提供有关存储集群的信息。
要检查Ceph集群的状态，请使用以下命令：
ceph status
此命令将列出群集的健康状况，例如健康度、PG总数以及存储使用情况。
二、Ceph集群部署
在开始部署Ceph集群之前，需要确定如何部署OSD，因为它们是Ceph存储的主要组件。OSD可以跨多个物理服务器分布，这意味着它们可以运行在不同的服务器上，或者在同一服务器的不同磁盘上。与此同时，将RADOS监视器运行在单独的服务器上，以避免在OSD停止运行时出现单一故障点。
Ceph是基于Linux的开源系统，可以在几乎所有主流Linux发行版中使用。与其他存储系统不同，Ceph支持文件级和块级存储。此外，它可以与AWS、OpenStack和其他云和虚拟化平台无缝集成。
在CentOS7上，使用以下命令来安装Ceph：
sudo yum install epel-release sudo yum install ceph -y
一旦Ceph安装完成，运行以下命令来创建并启动初始Ceph环境：
sudo ceph-deploy new {MONITOR-HOSTNAME}
sudo ceph-deploy install {MONITOR-HOSTNAME}
sudo ceph-deploy mon create-initial
请注意，这需要在与Master节点不同的主机上进行，在此示例中为“MONITOR-HOSTNAME”。
三、Ceph集群延迟
在Ceph中，延迟是一个常见的问题，它会影响整个系统的性能和可用性。为了避免延迟，Ceph使用了各种技术，例如从缓存中读取数据、使用固态硬盘和数据分片。要检查Ceph集群的延迟，请使用以下命令：
ceph osd latency
此命令将返回每个OSD的读/写延迟和吞吐量数据。
四、Ceph集群维护
Ceph集群需要持续维护，以确保其性能和可用性。在Ceph的“健康度”框架下，Ceph会为管理员提供有关系统状态和性能的实时统计信息。要检查Ceph集群的状态，请运行以下命令：
ceph health
此命令将返回一个健康度报告，指示是否出现故障、复制和恢复状况以及OSD和Monitor的状态。
当需要进行维护操作时，最好在Ceph集群上停止所有活动，并在开始之前备份所有数据。为了停止Ceph集群，请使用以下命令：
ceph osd down {osd-num}
ceph osd out {osd-num}
注意，这将关闭指定的OSD，将其从群集中移除并将其标记为下线。然后可以执行其他维护操作。
五、Ceph集群最少需要几台
Ceph集群建议使用5台或更多服务器，以最大程度地提高系统的可靠性。由于Ceph存储系统提供高度可用的数据存储，因此至少需要3台运行Monitor，以避免单点故障。在单节点上实施Ceph集群不是一个好主意。
六、Ceph集群编码
Ceph集群使用软件编码技术来防止数据丢失和硬件故障。软件编码允许数据在多个磁盘和节点上进行复制，从而增加了数据的可用性和持久性。要在Ceph集群中设置编码，请使用以下命令：
ceph osd erasure-code-profile set {profile-name} k={k} m={m}
注意：{profile-name}是编码配置文件的名称；{k}指定数据片数量；{m}指定纠错码片数量。例如，以下代码将创建名为"my-ec-profile"的编码配置文件，其中k = 2，m = 1：
ceph osd erasure-code-profile set my-ec-profile k=2 m=1
七、Ceph集群搭建方案
一个Ceph集群包括多个节点，每个节点包括OSD和MON。为了建立Ceph集群，需要执行以下步骤：
- 创建一个Ceph集群的Monitor。
- 将OSD添加到Ceph cluster中。
- 确保数据平衡。
- 执行数据恢复和重构。
要创建Ceph集群，请运行以下命令：
ceph-deploy new {cluster-name}
ceph-deploy install {node-name}
ceph-deploy mon create-initial
“cluster-name”指定要使用的群集名称，“node-name”指定要添加OSD和MON信息的节点名称。
八、Ceph集群搭建
在搭建Ceph集群之前，请确保已设置正确的网络。每个节点都应该在同一网络下，并且它们应该能够彼此访问。要创建Ceph集群，请按照以下步骤进行操作：
- 确保群集中的每个节点均安装有Ceph。
- 为Ceph节点配置主机名。
- 创建一个初始配置文件并在群集中的每个节点上分发该文件。
- 创建和部署Ceph Monitor。
- 为每个节点添加OSD设备。
- 确保Ceph存储系统的数据平衡。
要创建Ceph集群，请运行以下命令：
ceph-deploy new {cluster-name}
ceph-deploy install {node-name}
ceph-deploy mon create-initial
“cluster-name”指定要使用的群集名称，“node-name”指定要添加OSD和MON信息的节点名称。
九、Ceph集群删除pg
要在Ceph集群中删除未使用的PG，请使用以下命令：
ceph pg dump | grep inactive | awk '{print $1}' | xargs -I {} ceph pg rm {} # 1
ceph pg dump_stuck inactive | awk '{print $1}' | xargs -I {} ceph pg rm {} # 2
请注意，这些命令将删除未使用的PG，以释放未使用的存储空间。
十、Ceph集群网络选取
在Ceph集群中，为了获得最佳的网络性能和可用性，应选择适合Ceph集群的网络。这应该是一个低延迟、高吞吐量的网络，并且必须在每个节点之间提供良好的带宽。
在进行网络规划时，请考虑以下几个因素：
- 节点到节点之间的距离和带宽。
- 缓存、块层和对象层之间的带宽。
- 为操作系统和Ceph（例如RADOS）保留的带宽。
为了确保网络满足Ceph集群的性能需求，可以使用像fio、Bonnie++、dd、iperf3等工具来测试网络吞吐量、带宽和延迟。
