示例服务器配置:
-
Intel Xeon D-2141I - 8c/16t - 2.2 GHz/3 GHz
-
32 Go ECC 2133 MHz
-
1×512 Go SSD NVMe
-
4×12 To HDD SATA
安装了PVE9 ,1×512G NVMe 做系统盘 ,4×12 TB HDD 直接组一个 ZFS RAID0 条带池
- 认清四块 HDD
lsblk -d -o NAME,SIZE,MODEL,SERIAL,TRAN,ROTA
ls -l /dev/disk/by-id/ata-*
第一条用来找出四块约 10.9 TiB 的 HDD 和它们的序列号, 第二条用来确认对应的稳定设备路径。先跳过带 -part1 等后缀的分区条目
示例: sda 10.9T HGST HUH721212ALE601 5PHB4XZF sata 1 sdb 10.9T HGST HUH721212ALE601 5PHBAGLD sata 1
四块 12 TB HDD 已确认是 sda、sdb、sdc、sdd,序列号和整盘路径都对得上。nvme0n1 是 512 GB 系统盘,建池时排除它。
下一步先查现有分区。 输出显示四块 HDD 都已经有分区,单凭这份列表还看不出它们
lsblk -o NAME,SIZE,TYPE,FSTYPE,LABEL,MOUNTPOINTS
zpool status
zpool import
如果四块 HDD 上的旧数据都可以丢弃,下一步就先擦除这四块 HDD,再建 RAID0。 . 在 PVE 网页擦除四块 HDD 进入 ns3196679 → 磁盘(Disks),按下表核对设备和序列号,逐块选中整盘,点击 擦除磁盘(Wipe Disk)。每次等任务显示 TASK OK 再继续。 整盘 序列号 /dev/sda 5PHB4XZF /dev/sdb 5PHBAGLD
- 在 Shell 创建四盘 RAID0,四块都擦除成功后执行:
zpool create -o ashift=12 -O compression=lz4 -m /mnt/hddpool hddpool \
/dev/disk/by-id/ata-HGST_HUH721212ALE601_5PHB4XZF \
/dev/disk/by-id/ata-HGST_HUH721212ALE601_5PHBAGLD \
/dev/disk/by-id/ata-HGST_HUH721212ALE601_5PHB6H0F \
/dev/disk/by-id/ata-HGST_HUH721212ALE601_5PHB7HSD
- 验证容量和挂载
zpool status hddpool
zpool list hddpool
findmnt /mnt/hddpool
看到 ONLINE、四块盘直接列在 hddpool 下、容量约 43.7 TiB,并且挂载到了 /mnt/hddpool,就组好了
这个时候发现内存占用比较高,是因为缓存关系,下面把内存ZFS 的 ARC 上限从 30.01 GiB 调到 1 GiB
printf '%s\n' 1073741824 > /sys/module/zfs/parameters/zfs_arc_max
awk '$1 ~ /^(size|c_min|c_max)$/ {printf "%-6s %.2f GiB\n", $1, $3/1073741824}' /proc/spl/kstat/zfs/arcstats
看到 c_max 1.00 GiB 就表示设置成功。size 是当前缓存占用,可能暂时仍高于 1 GiB,ZFS 会在有内存压力时回收。
让重启后也生效,运行
nano /etc/modprobe.d/zfs.conf
添加
options zfs zfs_arc_max=1073741824
保存后 重启服务器
创建第一台 VM 前,先确认 NVMe 上的 data 池和四盘 hddpool 都已上线
zpool status -x
pvesm status
findmnt /mnt/hddpool
PVE 目前只列出 local,它对应面板上的 19.52 GiB。先别选它放 VM 系统盘,等确认 data 池后再用 NVMe 上剩余的大块空间。
zpool list
zfs list -o name,used,avail,mountpoint
zpool import
四块 HDD 的 hddpool 已经挂载。这一步只处理 NVMe 上的 data。
- 导入 data 并设置开机自动导入
zpool import data && zpool status data
确认 data 显示 ONLINE 后,再执行:
systemctl enable zfs-import@data.service
systemctl is-enabled zfs-import@data.service
看到 enabled 就表示已配置开机导入。本次已经手动导入,可以直接继续。 下一步是把它登记为 PVE 的 VM 磁盘存储。
pvesm add zfspool nvme-vm --pool data --content images
pvesm status
local 和 nvme-vm 显示的容量几乎一样的,只是分开储存
- local 存储 iso 系统目录
- nvme-vm 是vm系统目录 (创建vm选择这个目录作为系统目录)
四块 HDD 的 hddpool 已经建好,但还没注册为 PVE 的虚拟磁盘存储。注册一次就会出现在下拉框里
执行后,就会看到RAID0 数据池
pvesm add zfspool hdd-vm --pool hddpool --content images
pvesm status