Proxmox VE 管理员指南

在左上角，您首先看到的是 Proxmox logo 标志。接下来是 Proxmox VE 当前运行的版本。在左侧的搜索栏中，您可以搜索特定的对象（ VM 、容器、节点等）。这有时比在资源树中选择一个对象要快。

在搜索栏的右侧，我们会看到身份标识（登录名）。齿轮符号按钮用于打开 我的设置 对话框。在那里，您可以自定义一些客户端用户界面设置（重置已保存的登录名、重置已保存的布局）

页眉的最右侧部分包含四个按钮：

我的设置 窗口允许您设定本地存储的设置。其中包括 仪表板存储，它允许您启用或禁用特定存储，用以计入数据中心摘要中可见的总量。如果未选择任何存储，则总数为所有存储的总和，等同于启用每个存储。

在仪表板设置下面，您可以找到已保存的用户名和一个清除它的 重置 按钮，以及一个将 GUI 的所有布局重置为默认值的 重置 按钮。

在右侧是 xterm.js 设置 。这些包含以下选项：

这是主导航树。在树的顶部，您可以选择一些预定义的视图，这些视图会更改下面树的结构。默认视图是 服务器视图，它显示以下对象类型：

以下视图类型可用：

日志面板的主要目的是向您展示集群中当前正发生的事情。诸如创建新的 VM 之类的操作在后台执行，我们将这种后台作业称为 任务 。

此类任务的任何输出都保存在单独的日志文件中。您只需要双击一个任务日志条目即可查看该日志，也可以在那里中止正在运行的任务。

请注意，我们在此处显示了所有集群节点的最新任务。因此，您可以实时查看其他人何时在另一个集群节点上工作。

有些短期运行的操作只是将日志发送到所有集群成员。您可以在 集群日志 面板中看到这些消息。

在数据中心级别，您可以访问集群范围的设置和信息。

集群中的节点可以在此级别单独管理。

顶部页眉有一些有用的按钮，例如 重启、关机、Shell、批量操作 和 帮助。Shell 有 noVNC、SPICE 和 xterm.js 选项。批量操作 有 批量启动、批量停止 和 批量迁移 选项。

有两种不同类型的来宾，两者都可以转换为模板。一个是基于内核的虚拟机（KVM），另一个是 Linux 容器（LXC）。这些的导航基本相同；只有一些选项不同。

要访问来宾的各种管理界面，请在左侧菜单中选择一个 VM 或容器。

页眉包含诸如电源管理、迁移、控制台访问以及类型，克隆、HA 以及帮助等项目的命令。其中一些按钮包含下拉菜单，例如，关机 还包含其他电源选项，控制台 包括不同的控制台类型：SPICE、noVNC 和 xterm.js。

右侧的面板包含一个界面，用于显示从左侧菜单中选择的任何项目。

可用的界面如下所示。

与来宾界面一样，存储界面由左侧的某些存储元素的菜单和右侧的用于管理这些元素的界面组成。

在这个视图中，我们有一个两个分区的拆分视图。在左侧，我们有存储选项，在右侧，将显示所选选项的内容。

同样，资源池视图包含两个分区：左侧的菜单和右侧每个菜单项的对应界面。

在 数据中心 → 集群 下, 单击 创建集群。输入集群名称并从下拉列表中选择一个网络连接作为主集群网络（Link 0）。它默认为通过节点的主机名解析的 IP。

从 Proxmox VE 6.2 开始，最多可以向一个集群添加 8 个后备（fallback）链接。要添加冗余链接，请单击 添加 按钮，然后从相应字段中选择链接编号和 IP 地址。在 Proxmox VE 6.2 之前，要添加第二个链接作为后备，您可以选中 高级 复选框并选择其他网络接口（Link 1，另请参见 Corosync 冗余）。

通过 ssh 登录到第一个 Proxmox VE 节点并运行以下命令：

要检查新集群的状态，请使用：

可以在同一个物理或逻辑网络中创建多个集群。在这种情况下，每个集群必须有一个唯一的名字，以避免在集群通信堆栈中可能发生的冲突。此外，通过使集群区别明显，有助于避免人为混淆。

虽然 corosync 集群的带宽需求相对较低，但是包延迟和包转发率（PPS）是限制因素。在同一网络中的不同集群可以相互竞争这些资源，因此，对于更大的集群使用单独的物理基础设施仍然是有意义的。

登录到现有集群节点上的 Web 界面。在数据中心 → 集群 下面，单击顶部的 加入信息 按钮。然后，单击 复制信息 按钮。或者，手动复制 信息 字段的字符串。

接下来，登录到要添加的节点上的 Web 界面。在 数据中心 → 集群 下面，单击 加入集群 。使用您之前复制的 加入信息 文本填写到 信息 字段。加入集群的大多数设置将自动填写。出于安全原因，必须手动输入集群的密码。

单击 加入 按钮后，集群加入过程将立即开始。节点加入集群以后，它当前的节点证书将由集群证书颁发机构（CA）签署的证书替换。这意味着当前会话将在几秒钟后停止工作。然后您可能需要强制重载 Web 界面并使用集群凭据再次登陆。

现在，您的节点应该在 数据中心 → 集群 下可见。

通过 ssh 登录到要加入到现有集群的节点。

对于 IP-ADDRESS-CLUSTER ，使用现有集群节点的 IP 或主机名。建议使用 IP 地址（请参阅 链路地址类型）。

要检查集群的状态，请使用：

如果只想列出所有节点，请使用：

在集群网络分离的集群中添加节点时，需要使用 link0 参数设置该网络上的节点地址：

如果要使用 Kronosnet 传输层的内置 冗余，还要使用 link1 参数。

使用 GUI 界面，您可以从 加入集群 对话框中相应的 Link X 字段中选择正确的接口。

您还可以将节点与集群分离，而无需从头开始重新安装。但是从集群中删除节点后，它仍然可以访问任何共享存储。这必须在开始从集群中删除节点之前解决此问题。Proxmox VE 集群不能与另一个集群共享完全相同的存储，因为存储锁定在集群边界上不起作用。此外，它还可能导致 VMID 冲突。

建议您新建一个存储，只有您要分离的节点才能访问。仅举几个例子，这可以是 NFS 上新导出的或者新的 Ceph 资源池。很重要的一点是多个集群不会访问完全相同的存储。设置此存储后，将所有数据和 VM 从节点移动到该存储。然后您可以将节点从集群中分离出来了。

首先，停止节点上的 corosync 和 pve-cluster 服务：

在本地模式下再次启动集群文件系统：

删除 corosync 配置文件：

现在，您可以把文件系统作为普通服务再次启动：

该节点现在与集群分离。您可以使用以下命令从集群的任何其余节点中删除它：

如果由于剩余节点中的仲裁（quorum）丢失而导致命令失败，您可以将预期投票数（votes）设置为 1 作为解决方法：

然后重复 pvecm delnode 命令。

现在切换回分离的节点并删除其上所有剩余的集群文件。这确保节点可以毫无问题地再次添加到另一个集群。

由于来自其他节点的配置文件仍在集群文件系统中，您可能也需要清理它们。在绝对确保您拥有正确的节点名称后，您可以简单地从 /etc/pve/nodes/NODENAME（节点名称） 递归删除整个目录

这需要一个延迟低于 2 毫秒（LAN 性能）的可靠网络才能正常工作。该网络不应被其他成员大量使用；理想情况下，corosync 运行在自己的网络上。不要将共享网络用于 corosync 和存储（除非作为 冗余 配置中潜在的低权后备）。

在设置集群之前，最好先检查网络是否适合该目的。为了确保集群网络上的节点可以相互连接，您可以使用 ping 工具测试它们之间的连通性。

如果已启用 Proxmox VE 防火墙，将会自动为 corosync 生成 ACCEPT 规则 - 无需手动操作。

当创建未带任何参数的集群时，corosync 集群通常与 Web 界面和 VM 共享同一个网络。根据您的设置，甚至存储的流量也可能通过同一个网络发送。建议进行更改，毕竟 corosync 是一个注重时效性的实时应用程序。

Corosync 链路地址（使用 ringX_addr 在 corosync.conf 文件中作为向后兼容的标志）可以通过两种方式指定：

如果首选使用主机名，推荐为 corosync 使用单独的、专用的静态主机名。此外，请确保集群中的每个节点都可以正确的解析所有主机名。

从 Proxmox VE 5.1 开始才支持，主机名将在加入时进行解析。只有解析的 IP 才会保存到配置中。

在早期版本中，加入集群的节点可能仍使用 corosync.conf 中未解析的主机名。如上所述，用 IP 或单独的主机名替换它们是个不错的主意。

要向正在运行的配置添加新的链接，请首先查看如何 编辑 corosync.conf 文件。

然后，在 nodelist 部分中的每个节点添加一个新的 ringX_addr。确保您的 X 与添加到的每个节点都相同，并且对于每个节点都是唯一的。

最后，添加一个新的 interface 到 totem 部分，如下所示，使用上面选择的链接编号替换 X 。

假设您添加了一个编号为 1 的链接，新的配置文件可能如下所示：

只要您按照最后的步骤 编辑 corosync.conf 文件，就会启用新的链接，而无需重启。您可以使用以下方式检查 corosync 是否加载了新的链接：

有一个不错的测试新链接的办法，就是通过临时断开一个节点上的旧链接并确保其状态在断开连接时能保持在线：

如果您看到健康的集群状态，则意味着正在使用您的新链接。

Corosync 仲裁设备（Quorum Device，简称 QDevice）是一个运行在每个集群节点上的守护进程。它根据外部运行的第三方仲裁员的决定，为集群的仲裁子系统提供一个配置的投票数。它的主要用途是允许集群可以承受比标准仲裁规则允许的更多的节点故障。由于外部设备可以看到所有节点，因此只要选择一组节点就可以安全地完成投票。只有在收到第三方投票后，所述节点群（再次）达到规定数量时，才会这样做。

目前，仅支持 QDevice Net 作为第三方仲裁者。这是一个守护进程，它为集群分区提供投票权，前提是它可以通过网络到达分区的成员。它在任何时候都只会给集群的一个分区投票。它旨在支持多个集群并且几乎无需配置和无状态的。新的集群是动态处理的，在运行 QDevice 的主机上不需要配置文件。

对于外部主机的唯一要求是它需要通过网络访问到集群，并拥有可用的 corosync-qnetd 软件包。我们为基于 Debian 的主机提供了一个软件包，其他 Linux 发行版也应该拥有通过它们各自的包管理器提供的软件包。

我们支持将 QDevice 用于节点数为偶数的集群，如果推荐将它用于 2 个节点的集群，它们应该会提供更高的可用性。目前我们不鼓励将 QDevice 用于节点数为奇数的集群，其原因是 QDevice 为每种类型的集群提供不相同的投票数。偶数集群会获得单一的附加票，这只会增加可用性，因为如果 QDevice 自身出现故障，您的处境等同于完全没有 Device 。

另一方面，对于奇数大小的集群，QDevice 提供 (N-1) 票数 — 其中 N 对应于集群的节点数量。这是种合理的替代行为；如果它只有一个附加票，集群可能会陷入分裂的局面。该算法允许除一个节点（当然还有 QDevice 自身）之外的所有节点发生故障。但是，这样做有两个缺点：

如果您了解这些缺点和影响，您可以自行决定是否要在奇数的集群设置中使用此技术。

我们建议以非特权用户身份运行任何为 corosync-qdevice 提供投票权的守护进程。Proxmox VE 和 Debian 提供了一个已完成此类配置的软件包。守护进程和集群之间的数据流量必须加密，以确保 QDevice 安全的集成到 Proxmox VE。

首先，在您的外部服务器上安装 corosync-qnetd 软件包

并在所有集群节点上安装 corosync-qdevice 软件包

执行此操作后，确保集群中的所有节点都在线。

您现在可以通过在 Proxmox VE 节点之一上运行以下命令来设置 QDevice：

集群中的 SSH 密钥将自动复制到 QDevice 。

输入密码并成功完成所有步骤以后，您将会看到 “Done”（完成）。您可以使用以下命令验证 QDevice 是否已经设置：

编辑 corosync.conf 文件并不总是很简单。每个集群节点上有两个，一个是 /etc/pve/corosync.conf ，另一个是 /etc/corosync/corosync.conf 。编辑我们的集群文件系统中的这个文件，会将改动传播到本地的另一个，但反之则不然。

一旦文件更改，配置将自动更新。这意味着集成到正在运行的 corosync 中的改动将立即生效。因此，您应该始终为该文件创建一个复本后再编辑，以避免在保存编辑中的文件时触发意外的改动。

然后，使用您最喜欢的编辑器打开配置文件，例如 nano 或者 vim.tiny ，它们预装在每个 Proxmox VE 节点上。

进行必要的更改后，创建当前工作中的配置文件的另一个副本。这是作为在新的配置故障无法应用或造成其他问题时的备份。

然后使用新的配置文件替换旧的配置文件：

您可以使用以下命令检查更改是否可以自动应用：

如果更改未能自动应用，您可以通过以下命令重启 corosync 服务：

关于错误，请查看下面的故障排除部分。

迁移的类型定义了迁移数据是应该通过一个已加密（安全）通道还是一个未加密（不安全）通道进行发送。设置为不安全的迁移类型意味着虚拟来宾的内存内容也会以未加密的方式传输，这可能导致来自来宾内部的关键数据（例如，密码或者加密的密钥）发生信息泄露。

因此，如果您未能完全控制网络并且不能保证没有人窃取，我们强烈建议使用安全隧道。

加密需要大量的计算能力，因此经常将此设置更改为“不安全”以实现更好的性能。对现代系统的影响较小，因为它们在硬件中实现了 AES 加密。在可以传输 10Gbps 或更高的快速网络中，性能影响尤为明显。

默认情况下，Proxmox VE 使用进行集群通信的网络来发送迁移流量。这不是最优的，因为敏感的集群通信流量可能会中断，并且该网络可能不具有节点上可用的最佳带宽。

设置迁移网络参数允许对所有迁移流量使用专用的网络。除了内存，这也会影响离线迁移的存储流量。

迁移网络设置为使用 CIDR 表示法的网络。这样做的好处是您不必为每个节点设置单独的 IP 地址。Proxmox VE 可以从 CIDR 类型中所指定的网络里确定目标节点上的真实地址。要启用此功能，必须指定网络，以便每个节点在各自的网络中只有一个 IP 。

集群文件系统中的某些目录使用符号链接，以指向节点自身的配置文件。因此，下表中指向的文件是指集群每个节点上的不同文件。

您可以通过以下方式启用详细的系统日志消息：

并通过以下方式禁用详细的系统日志消息：

推荐的方法是在从集群中删除节点后重新安装节点。这确保所有集群的机密和 SSH 的密钥、以及任何共享配置数据都被销毁。

在某些情况下，您可以更喜欢在不重装的情况下将节点恢复到本地模式，这在无需重装分离节点中进行了描述。

对于 nodes/<NAME>/qemu-server/（ VM ）和 nodes/<NAME>/lxc/（容器）中的来宾配置文件，Proxmox VE 视包含 <NAME> 的节点为相应来宾的所有者。这个概念允许使用本地锁而不是昂贵的集群范围的锁，以此来防止来宾配置的并发更改。

因此，如果拥有来宾的节点发生故障（例如，由于断电、隔离事件等），则无法进行常规迁移（即使所有磁盘都位于共享存储上），因为这样无法在拥有的节点（离线）上的本地锁。这对于 HA 管理的来宾不是问题，因为 Proxmox VE 的高可用性堆栈（stack）包括必要的(cluster-wide) 锁定和监控功能（watchdog），以确保可以正确且自动的从隔离的节点恢复来宾。

如果非 HA 管理的来宾只有共享磁盘（并且没有其他仅在故障节点上可用的本地资源），一种简单的手动恢复方式，是将故障节点的目录 /etc/pve/ 里的来宾配置文件移动到在线节点的目录（这会更改来宾的逻辑所有者或位置）。

例如，将 ID 为 100 的 VM 从离线的节点 node1 恢复到另一个节点 node2 的工作方式是在集群的任何成员节点上以 root 身份运行以下命令：

许多存储和 qcow2 格式的 Qemu 映像，支持 自动精简配置 。当激活自动精简配置后，只有来宾系统实际用的块才会写入存储。

举个实例说明，您创建一个 32GB 硬盘的 VM ，然后安装了来宾系统的操作系统，VM 的 root 文件系统则包含了 3GB 的数据。在这种情况下，即使您的来宾 VM 看到有一个 32GB 的硬盘，也仅有 3GB 写入到存储。通过这种方式，自动精简配置允许您创建大于当前可用存储块的磁盘映像。您可以为您的 VM 创建大型的磁盘映像，并在需要时向存储添加更多磁盘，而无需调整 VM 文件系统的大小。

所有具有“快照”功能的存储类型也支持自动精简配置。

每个存储池都有一个<类型> ，并通过 <STORAGE_ID> 进行唯一标识。一个池的配置如下所示：

从 <type>: <STORAGE_ID> 行开始定义池，紧随其后的是属性列表。大多数属性需要一个值。有些具有合理的默认值，在这种情况下您可以省略该值。

更具体地说，查看安装后的默认存储配置。它包括一个名为 local 的特殊本地存储池，它指向 /var/lib/vz 目录，并且始终可用。Proxmox VE 安装程序根据在安装时选择的存储类型来创建附加的存储条目。

部分存储属性在不同类型的存储中是通用的。

映像（image） 类型的卷存在所有权关系。每个 VM 或容器都拥有这样的卷。例如，卷 local:230/example-image.raw 是归 VM 230 所有。大多数存储后端将此所有权信息编码到卷的名称中。

当您销毁 VM 或容器时，系统也会销毁该 VM 或容器拥有的所有关联的卷。

添加存储池

禁用存储池

启用存储池

更改或设置存储选项

移除存储池。这不会删除任何数据，也不会断开连接或卸载任何东西。它只是移除该存储配置。

分配卷

在本地存储中分区一个 4G 的卷。如果您使用空字符串作为 <name>（名称），则名称将自动生成。

释放卷（清空卷）

列出存储状态

列出存储内容

列出由 VMID 分配的卷

列出 ISO 光盘映像

列出容器模板

显示卷的文件系统路径

导出卷 local:103/vm-103-disk-0.qcow2 到文件 target 。通常与内部地 pvesm import 配合使用。流格式 qcow2+size 不同于 qcow2 格式。因此，导出的文件无法简单的附加到 VM 。这也适用于其他格式。

该后端支持所有常见的存储属性，并添加一个名为 path 的附加属性来指定目录。这需要文件系统的绝对路径。

以上配置定义了一个名为 backup 的存储池。该池可用于为每个 VM 存储最多 7 个备份（maxfiles 7）。备份文件的实际路径是 /mnt/backup/dump/... 。

该后端为 VM 映像使用定义明确的命名方案：

当您创建一个 VM 模板时，所有的 VM 映像都将重命名来表明它们现在是只读的，并且可以用作克隆的基础映像：

如上所述，大多数文件系统不支持开箱即用的快照。为了解决这个问题，此后端能够使用 qcow2 内部的快照特性。

这同样适用于克隆。后端使用 qcow2 的基础映像功能来创建克隆。

请使用以下命令在存储 local 上分配 4 GB 的映像：

实际文件系统路径显示为：

您可以使用以下命令移除映像：

该后端支持所有常见的存储属性，但始终设置的共享标志除外。此外，以下属性用于配置 NFS 服务器：

您还可以设置 NFS 挂载选项：

NFS 不支持快照，但此后端使用 qcow2 的特性来实现快照和克隆。

您可以通过以下方式获取导出的 NFS 共享列表：

该后端支持所有常见的存储属性，但始终设置的共享标志除外。此外，还有以下 CIFS 专用属性可用：

CIFS 不支持存储级别的快照。但是，如果您仍然希望可以使用快照和克隆的特性，则可以使用 qcow2 进行文件备份。

您可以通过以下方式获取导出的 CIFS 共享列表：

然后通过以下方式，您可以将此共享作为存储添加到整个 Proxmox VE 集群：

该后端支持所有常见的存储属性，但始终设置的共享标志除外。此外，还有以下 Proxmox Backup Server 专用属性可用：

Proxmox Backup Server 仅支持备份，备份可以基于块级或基于文件级。Proxmox VE 对虚拟机使用块级，对容器使用文件级。

或者，您可以在 GCM 模式下使用 AES-256 配置客户端加密。可以通过 Web 界面或者使用 encryption-key 选项在 CLI 上配置加密（见上文）。密钥将保存在仅限 root 用户访问的文件 /etc/pve/priv/storage/<STORAGE-ID>.enc 中。

建议您将密钥保存在安全且易于访问的位置，以便快速进行灾难恢复。出于这个原因，最好将它存储在您的密码管理器中，在那里它可以立即恢复。作为对此的备份，您还应该保存密钥到 USB 驱动器，并将其放在安全的地方。最后，为应对最坏的情况，您还应该考虑将密钥的纸质副本锁在安全的地方。可以使用 paperkey 子命令创建密钥的二维码版本。以下命令将使用 paperkey 命令输出发送到文本文件，以便于打印。

此外，还可以使用单个 RSA 主密钥对进行密钥恢复：将所有执行加密备份的客户端配置为使用单个主公钥，并且所有后续加密备份将包含用于 AES 加密的使用 RSA 加密的密钥副本。即使客户端系统不再可用，对应的主私钥也允许恢复 AES 密钥并解密备份。（翻译备注：简单说就是用 AES 加密所有备份，然后用 RSA 公钥加密 AES 密钥，再附加到备份文件中，如果 AES 密钥丢失，可以用 RSA 私钥从备份文件中解密出 AES 的密钥进行解密。）

因为加密是在客户端管理的，您可以在服务器上为未加密备份和已加密备份使用相同的数据存储，即使它们使用不同密钥进行加密的。无论如何，是不可能删除不同密钥的备份之间的重复数据的，因此通常最好创建单独的数据存储。

然后您可以通过以下命令，将此共享作为存储，添加到整个 Proxmox VE 集群：

该后端支持所有常见的存储属性，并添加以下 GlusterFS 特定选项：

目录布局和文件命名约定继承自目录(dir)后端。

该存储提供文件级接口，但是非原生实现快照或克隆。

该后端支持常见的存储属性（如 content(内容)、nodes(节点)、disable(禁用)），以及下列 ZFS 的专用属性：

该后端为 VM 映像使用以下命名方案：

在快照和克隆方面，ZFS 可能是最高级的存储类型。该后端为虚拟机（VM ）映像（格式 raw ）和容器数据（格式 subvol）使用 ZFS 数据集。ZFS 属性继承自父数据集，因此您只需在父数据集上设置默认值即可。

建议创建一个额外的 ZFS 文件系统用于存储您的 VM 映像：

要在新分配的文件系统上启用压缩：

您可以通过以下方式获取可用的 ZFS 文件系统列表：

LVM 后端支持常见的存储属性（如 content(内容)、nodes(节点)、disable(禁用)），以及下列 LVM 的专用属性：

该后端使用与 ZFS 池后端基本相同的命名约定。

LVM 是典型的块存储，但是该后端不支持快照和克隆。不幸的是，普通的 LVM 快照效率低下，因为它们会在快照期间干扰整个卷组上的所有写入。

最大优势是您可以在共享存储（例如 iSCSI LUN）之后使用它。该后端本身实现了集群范围内适当的锁定。

列出可用卷组：

LVM thin 后端支持常见的存储属性（如 content(内容)、nodes(节点), disable(禁用)），以及下列 LVM 的专用属性：

该后端使用与 ZFS 池后端基本相同的命名约定。

LVM thin 是块存储，但完全支持高效的快照和克隆。新的卷用零自动初始化。

必须提到的是，LVM thin 池不能跨越多个节点进行共享，因此您仅能将其用作本地存储。

列出卷组 pve 上可用的 LVM thin 池：

该后端支持常见的存储属性（如 content(内容)、nodes(节点)、disable(禁用)），以及下列 iSCSI 的专用属性：

The iSCSI 协议未定义分配或删除数据的接口。相反，这需要在目标端完成，并且是特定于供应商的。目标只将它们导出为编号的 LUN。因此，Proxmox VE iSCSI 卷名只是对 linux 内核可见的有关 LUN 的一些信息进行编码。

iSCSI 是块级类型的存储，不提供管理接口。所以通常最好导致出一个大的 LUN，并在该 LUN 之上设置 LVM。您可以使用 LVM 插件管理该 iSCSI LUN 上的存储。

创建远程 iSCSI 网络端口（portal），并返回可用的目标（target）列表：

用户模式 iSCSI 后端使用与 Open-iSCSI 支持相同的配置选项。

该后端支持常见的存储属性（如 nodes(节点)、 disable(禁用)、content(内容)），以及下列 rbd 的专用属性：

如果您使用 cephx 身份验证，需要将密钥文件从外部 Ceph 集群复制到 Proxmox VE 主机。

通过以下命令创建目录 /etc/pve/priv/ceph

然后复制 keyring 文件

此 keyring 文件的命名必须与您的 <STORAGE_ID> 匹配。复制 keyring 文件通常需要 root 权限。

如果 Ceph 本地安装在 PVE 集群上，这将通过 pveceph 或 GUI 界面中自动完成。

rbd 后端是块级存储，并实现完整的快照和克隆功能。

该后端支持常见的存储属性（如 nodes(节点)、 disable(禁用)、content(内容)），以及下列 cephfs 的专用属性：

如果您使用 cephx 身份验证，它是默认启用的，您需要将密钥文件从外部 Ceph 集群复制到 Proxmox VE 主机。

通过以下命令创建目录 /etc/pve/priv/ceph

然后复制 secret 文件

此 secret 文件的命名必须与您的 <STORAGE_ID>匹配。复制 secret 文件通常需要 root 权限。该文件必须只包含密钥本身，而不是包含 rbd 后端的 [client.userid] 部分。

通过发出以下命令，可以从 Ceph 集群（由 Ceph 管理员）接收密钥，其中 userid 是已配置为访问集群的客户端 ID 。有关 Ceph 用户管理的更多信息，请参阅 Ceph 文档
[Ceph 用户管理 https://docs.ceph.com/en/nautilus/rados/operations/user-management/]
。

如果 Ceph 本地安装在 PVE 集群上，也就是说，它是使用 pveceph 设置的，这会自动完成。

cephfs 后端是 POSIX 兼容的文件系统，位于 Ceph 集群之上。

^[1] 虽然不存在已知的错误，但是快照还不能保证稳定，因为它们缺乏足够的测试。

该后端的配置类似于目录存储。请注意，当添加目录作为 BTRFS 存储时，它本身不是挂载点，强烈建议通过 is_mountpoint 选项指定实际的挂载点。

例如，如果 BTRFS 文件系统已挂载为 /mnt/data2，并且它的子目录 pve-storage/（这可能是快照，推荐作法）要添加为存储池（名为 data2），您可以使用以下条目：

当生成子卷或 raw 文件的快照时，快照将创建为只读子卷，其路径相同，后跟 @ 和快照的名称。

为了使用基于 iSCSI 的 ZFS 的插件，您需要配置远程机器（目标，target），接受来自 Proxmox VE 节点的 ssh 连接。Proxmox VE 连接到目标以创建 ZVOL 并通过 iSCSI 导出它们。通过存储在 /etc/pve/priv/zfs/<target_ip>_id_rsa 的 ssh-key（无密码保护）完成身份验证。

通过以下步骤，将创建一个 ssh-key 并将其分发到 IP 为 192.0.2.1 的存储机器：

该后端支持常见的存储属性（如 content(内容)、nodes(节点)、disable(禁用)），以及下列基于 iSCSI 的 ZFS 的专用属性：

基于 iSCSI 的 ZFS 的插件提供了一个共享存储，并支持快照。您需要确保 ZFS 设备不会成为部署中的单点故障。

通过 Proxmox VE，您将具有易于使用的 Ceph 安装向导。单击您的集群节点之一并导航到菜单树中的 Ceph 部分。如果尚未安装 Ceph，您会看到到一个安装 Ceph 的提示。

该向导分为多个部分，每个部分都需要成功完成，才能使用 Ceph。

首先，您需要选择要安装的 Ceph 版本。首选其他节点中的一个，如果这是您安装 Ceph 的第一个节点，则选择最新的一个。

开始安装后，向导将从 Proxmox VE 的 Ceph 存储库下载并安装所有必需的软件包。

完成安装步骤后，您将需要创建一个配置。每个集群只需执行一次此步骤，因为此配置会通过 Proxmox VE 的 集群配置文件系统（pmxcfs） 自动分发到所有剩余的集群成员。

配置步骤包括以下设置：

您还有两个被认为是高级的选项，因此只有在您知道自己在做什么时才应该更改。

此外，您需要选择第一个监控节点。此步骤是必需的。

就是这样，您现在应该可以看到一个成功页面作为最后一步，以及有关如何继续的进一步说明。您的系统现在已经准备好了开始使用 Ceph。首先，您需要创建一些额外的 监视器、 OSD 和至少一个 pool（存储池）。

本章的其余部分将指导您充分利用基于 Proxmox VE 的 Ceph 设置。这包括前面提到的更多技术，例如 CephFS，这是对新 Ceph 集群的有益补充。

除了 Web 界面中推荐的 Proxmox VE Ceph 安装向导之外，您还可以在每个节点上使用以下 CLI 命令：

这会在 /etc/apt/sources.list.d/ceph.list 中设置一个 apt 软件包存储库，并安装所需的软件。

使用 Proxmox VE Ceph 安装向导（推荐）或在一个节点运行以下命令：

这会在 /etc/pve/ceph.conf 中创建一个初始配置，并为 Ceph 建立一个专用的网络。该文件使用 pmxcfs 自动分发到所有 Proxmox VE 节点。命令还在 /etc/ceph/ceph.conf 中创建了一个符号链接，指向该文件。因此，您可以简单地运行 Ceph 命令而无需指定配置文件。

在要放置监视器的每个节点上（推荐三个监视器），使用 GUI 界面中的 Ceph → 监视器 选项卡创建一个或运行：

要通过 GUI 删除 Ceph 监视器，首先在树视图中选择一个节点，然后转到 Ceph → 监视器 面板。选择要删除的监视器并单击 销毁 按钮。

要通过 CLI 删除 Ceph 监视器，首先连接到正在运行监视器的节点。然后执行以下命令：

可以安装多个管理员，但在任何给定时间仅有一个管理员处于活动状态。

要通过 GUI 删除 Ceph 管理员，首先在树视图中选择一个节点，然后转到 Ceph → 监视器 面板。选择要删除的管理员并单击 销毁 按钮。

要通过 CLI 删除 Ceph 管理员，首先连接到正在运行管理员的节点。然后执行以下命令：

您可以通过 Proxmox VE Web 界面或者通过 CLI 使用 pveceph 命令创建 OSD。例如：

如果磁盘已被使用过（例如，用于 ZFS 或作为 OSD），您首先需要清除所有使用的痕迹。要删除分区表、引导扇区和任何其他 OSD 的残留内容，您可以使用以下命令：

自 Ceph Karken 版本开始，引入了一种新的 Ceph OSD 存储类型，称为 Bluestoe
[Ceph Bluestore https://ceph.com/community/new-luminous-bluestore/]
。这是自 Ceph Luminous 以来创建 OSD 的默认设置。

如果您想为您的 OSD 使用单独的 DB/WAL 设备，您可以通过指定 -db_dev 和 -wal_dev 选项。如果未单独指定，则 WAL 和 DB 一起放置。

您可以分别使用 -db_size 和 -wal_size 参数来直接选择那些的大小。如果未给出，将使用以下值（按顺序）：

在 Ceph Luminous 之前，Filestore 是 Ceph OSD 使用的默认存储类型。从 Ceph Nautilus 开始，Proxmox VE 不再支持使用 pveceph 创建此类 OSD。如果您仍想创建 filestore 类型的 OSD，请直接使用 ceph-volume 。

要通过 GUI 删除 OSD ，首先在树视图中选择 Proxmox VE 节点，然后转到 Ceph → OSD 面板。接着选择要删除的 OSD 并单击 OUT 按钮。一旦 OSD 的状态从 in 变为 out，单击 停止 按钮。最后，它的状态将从 up 变为 down，从 更多 下拉菜单中选择 销毁 。

要通过 CLI 删除 OSD，请运行以下命令：

以下命令将销毁 OSD，指定 -cleanup 选项可额外销毁分区表。

您可以从命令行或任何 Proxmox VE 主机的 Web 界面的Ceph → Pools 下创建和编辑 pools（存储池）。

当未给予选项时，我们默认设置了 PGs 为 128，副本的大小为 3 和 副本的最小尺寸（min_size）为 2，以确保在任何 OSD 故障时不会发生数据丢失。

建议您启用 PG-Autoscaler 或者根据您的设置计算 PG 的数字。您可以在线找到公式和 PG 计算器
[PG 计算器 https://web.archive.org/web/20210301111112/http://ceph.com/pgcalc/]
。从 Ceph Nautilus 开始，您可以在设置后更改 PGs
[归置组 https://docs.ceph.com/en/nautilus/rados/operations/placement-groups/]
的数值。

PG autoscaler
[自动缩放 https://docs.ceph.com/en/nautilus/rados/operations/placement-groups/#automated-scaling]
可以在后台自动缩放存储池的 PG 数量。设置 目标大小 或 目标比率 高级参数有助于 PG-Autoscaler 做出更好的决策。

要通过 GUI 销毁存储池，在树视图中选择一个节点，然后转到 Ceph → Pools 面板。选择要销毁的存储池并单击 销毁 按钮。您需要输入存储池的名称来确认存储池的销毁。

运行以下命令以销毁存储池。如果同时指定 -remove_storages 参数还可以删除关联的存储。

PG autoscaler 允许集群考虑每个存储池中存储的（预估）数据量并自动选择适当的 pg_num 值。它从 Ceph Nautilus 开始可用。

在调整生效之前，您可能需要激活 PG autoscaler 模块。

Autoscaler 是在每个存储池的基础上配置的，具有以下模式：

可以通过使用 target_size、target_size_ratio 以及 pg_num_min 选项调整缩放因子以促进将来的数据存储。

您可以在 Ceph 的博客上找到对 PG autoscaler 更多的深入介绍 - New in Nautilus: PG merging and autotuning.

CephFS 至少需要配置并运行一个元数据服务器才能正常工作。您可以通过 Proxmox VE Web GUI 界面的 节点 -> CephFS 面板或从命令行使用以下命令创建 MDS：

可以在集群中创建多个元数据服务器，但在默认设置下，一次只能有一个活动的。如果一个 MSD 或它所在节点失去响应（或崩溃），另一个 备用 MSD 将被提升为 活动 状态。您可以在创建时使用 hotstandby 参数选项来加速主备 MDS 之间的切换，或者如果您已经创建了它，您可以在 /etc/pve/ceph.conf 中的相应 MDS 部分设置/添加：

启用此功能后，指定的 MDS 将保持 warm（热机） 状态，轮询活动的 MDS，以便在出现任何问题时可以更快地接管。

从 Luminous (12.2.x) 开始，您可以同时运行多个活动的元数据服务器，但这通常只有在您有大量并行的客户端时才有用。否则 MDS 很少成为系统中的瓶颈。如果您想要设置它，请参考 Ceph 文档
[配置多个活动 MDS 守护进程 https://docs.ceph.com/en/nautilus/cephfs/multimds/]
。

CephFS 通过与 Proxmox VE 的集成，您可以使用 Web 界面、CLI 或外部 API 接口轻松创建 CephFS 。要使其工作，需要一些前提条件：