笔记 PVE 多块硬盘组RAID0 数据池
收藏 PVE

示例服务器配置:

  • Intel Xeon D-2141I - 8c/16t - 2.2 GHz/3 GHz

  • 32 Go ECC 2133 MHz

  • 1×512 Go SSD NVMe

  • 4×12 To HDD SATA

安装了PVE9 ,1×512G NVMe 做系统盘 ,4×12 TB HDD 直接组一个 ZFS RAID0 条带池

  1. 认清四块 HDD
lsblk -d -o NAME,SIZE,MODEL,SERIAL,TRAN,ROTA
ls -l /dev/disk/by-id/ata-*

第一条用来找出四块约 10.9 TiB 的 HDD 和它们的序列号, 第二条用来确认对应的稳定设备路径。先跳过带 -part1 等后缀的分区条目

示例: sda 10.9T HGST HUH721212ALE601 5PHB4XZF sata 1 sdb 10.9T HGST HUH721212ALE601 5PHBAGLD sata 1

四块 12 TB HDD 已确认是 sda、sdb、sdc、sdd,序列号和整盘路径都对得上。nvme0n1 是 512 GB 系统盘,建池时排除它。 下一步先查现有分区。 输出显示四块 HDD 都已经有分区,单凭这份列表还看不出它们

lsblk -o NAME,SIZE,TYPE,FSTYPE,LABEL,MOUNTPOINTS
zpool status
zpool import

如果四块 HDD 上的旧数据都可以丢弃,下一步就先擦除这四块 HDD,再建 RAID0。 . 在 PVE 网页擦除四块 HDD 进入 ns3196679 → 磁盘(Disks),按下表核对设备和序列号,逐块选中整盘,点击 擦除磁盘(Wipe Disk)。每次等任务显示 TASK OK 再继续。 整盘 序列号 /dev/sda 5PHB4XZF /dev/sdb 5PHBAGLD

  1. 在 Shell 创建四盘 RAID0,四块都擦除成功后执行:
zpool create -o ashift=12 -O compression=lz4 -m /mnt/hddpool hddpool \
  /dev/disk/by-id/ata-HGST_HUH721212ALE601_5PHB4XZF \
  /dev/disk/by-id/ata-HGST_HUH721212ALE601_5PHBAGLD \
  /dev/disk/by-id/ata-HGST_HUH721212ALE601_5PHB6H0F \
  /dev/disk/by-id/ata-HGST_HUH721212ALE601_5PHB7HSD
  1. 验证容量和挂载
zpool status hddpool
zpool list hddpool
findmnt /mnt/hddpool

看到 ONLINE、四块盘直接列在 hddpool 下、容量约 43.7 TiB,并且挂载到了 /mnt/hddpool,就组好了

这个时候发现内存占用比较高,是因为缓存关系,下面把内存ZFS 的 ARC 上限从 30.01 GiB 调到 1 GiB

printf '%s\n' 1073741824 > /sys/module/zfs/parameters/zfs_arc_max

awk '$1 ~ /^(size|c_min|c_max)$/ {printf "%-6s %.2f GiB\n", $1, $3/1073741824}' /proc/spl/kstat/zfs/arcstats

看到 c_max 1.00 GiB 就表示设置成功。size 是当前缓存占用,可能暂时仍高于 1 GiB,ZFS 会在有内存压力时回收。 让重启后也生效,运行

nano /etc/modprobe.d/zfs.conf

添加

options zfs zfs_arc_max=1073741824

保存后 重启服务器


创建第一台 VM 前,先确认 NVMe 上的 data 池和四盘 hddpool 都已上线

zpool status -x
pvesm status
findmnt /mnt/hddpool

PVE 目前只列出 local,它对应面板上的 19.52 GiB。先别选它放 VM 系统盘,等确认 data 池后再用 NVMe 上剩余的大块空间。

zpool list
zfs list -o name,used,avail,mountpoint
zpool import

四块 HDD 的 hddpool 已经挂载。这一步只处理 NVMe 上的 data。

  1. 导入 data 并设置开机自动导入
zpool import data && zpool status data

确认 data 显示 ONLINE 后,再执行:

systemctl enable zfs-import@data.service
systemctl is-enabled zfs-import@data.service

看到 enabled 就表示已配置开机导入。本次已经手动导入,可以直接继续。 下一步是把它登记为 PVE 的 VM 磁盘存储。

pvesm add zfspool nvme-vm --pool data --content images
pvesm status

local 和 nvme-vm 显示的容量几乎一样的,只是分开储存

  • local 存储 iso 系统目录
  • nvme-vm 是vm系统目录 (创建vm选择这个目录作为系统目录)

四块 HDD 的 hddpool 已经建好,但还没注册为 PVE 的虚拟磁盘存储。注册一次就会出现在下拉框里

执行后,就会看到RAID0 数据池

pvesm add zfspool hdd-vm --pool hddpool --content images
pvesm status
Mr.Gu's Studio

会员登录