RAID для Proxmox в продакшен: ZFS vs LVM + HW RAID

Для Proxmox в продакшн-окружении с высокой доступностью 99.999% и поддержкой снапшотов оптимальна конфигурация proxmox zfs в RAIDZ2 или mirror без аппаратного RAID — это обеспечивает checksums, scrubbing и репликацию. LVM Thin + HW RAID проще в настройке и дешевле по RAM, но уступает в надежности из-за скрытых ошибок диска и слабых снапшотов. Разделяйте ОС на local-lvm, а VM-данные — на отдельный ZFS-пул; для SSD с HW RAID включайте TRIM в гостях, но лучше обойтись софтверным ZFS.

---

Содержание

• Рекомендуемая RAID-конфигурация для Proxmox в продакшн с высокой доступностью
• Proxmox кластер и HA: требования к хранилищу и снапшотам
• LVM Thin + HW RAID в Proxmox: преимущества и недостатки
• Proxmox ZFS: настройка, снапшоты и возможности
• Сравнение Proxmox ZFS vs LVM Thin + HW RAID
• Разделение ОС и хранилища в Proxmox
• HW RAID для SSD в Proxmox: проблемы TRIM и решения
• Альтернативы: Ceph для Proxmox кластера
• Источники
• Заключение

---

Рекомендуемая RAID-конфигурация для Proxmox в продакшн с высокой доступностью

Представьте: ваш proxmox кластер должен выдерживать 99.999% uptime, то есть не больше 5 минут простоя в год. Это не шутки — здесь каждый отказ диска может стоить бизнеса. Для таких задач proxmox raid лучше строить на софтверном уровне, особенно с proxmox zfs в RAIDZ2 (для 6+ дисков, терпит 2 сбоя) или mirror (2-4 диска, как RAID1/10, но с проверками).

Почему не HW RAID? Контроллеры вроде LSI или Adaptec скрывают ошибки — диск покажет “OK”, а данные уже битые. В официальной документации Proxmox прямо советуют ZFS без железа: создайте пул zpool create tank mirror /dev/sda /dev/sdb или raidz2 /dev/sd[abcdef]. Добавьте SSD для L2ARC (кэш) и SLOG (журнал) — это ускорит IOPS до 100k+.

Для старта: 8x HDD 4TB в RAIDZ2 дадут ~16TB usable, с компрессией LZ4 — еще +20-30%. Тестируйте на реальной нагрузке: fio для random write. И да, ECC RAM обязательно — минимум 1GB на TB пула, иначе ZFS откажется работать.

---

Proxmox кластер и HA: требования к хранилищу и снапшотам

Proxmox кластер с HA мигрирует VM за секунды при сбое узла, но хранилище должно быть shared. Локальные proxmox диски (LVM или ZFS) не делятся — используйте Ceph, NFS или iSCSI. Для снапшотов в HA идеален proxmox zfs: снимки реплицируются по сети (zfs send | zfs recv), а клоны позволяют быстрый откат.

Что нужно для 99.999%? Три узла минимум, Corosync для кворума, fencing (watchdog или IPMI). Хранилище — replicated: ZFS на каждом узле с rsync снапшотов или Ceph RBD. В документации по хранилищам подчеркивают: thin-provisioning (sparse) критично, чтобы не переполнить пул.

Проблема? Если один узел упал, HA live-migrate требует shared storage. Решение: Ceph на 3+ OSD или ZFS over NFS (но NFS медленнее). Мониторьте zpool status и pvesm status — алерты на 80% заполнения спасут от апокалипсиса.

---

LVM Thin + HW RAID в Proxmox: преимущества и недостатки

LVM Thin — это thin-пулы с цепочками снапшотов, как в ZFS, но проще. С HW RAID (RAID10 для скорости или RAID6 для емкости) на контроллере с BBU (батарейный кэш) вы получаете готовое proxmox хранилище. Создайте: pvcreate /dev/md0; vgcreate pve /dev/md0; lvcreate -L 100G -T thin pve/vmdata.

Плюсы:

• Низкий порог входа: не жрет RAM (ZFS любит 16GB+).
• Быстрее на HDD: HW RAID offload’ит parity.
• Дешево: старый Perc 6/i подойдет.

Минусы, и серьезные:

• Снапшоты хрупкие — удаление одного ломает цепочку.
• Нет checksums: битые блоки не заметны.
• Не shared для кластера без экспорта.

Форумчане на Proxmox форуме хвалят RAID10 (4TB usable на 8x1TB), но предупреждают: без BBU рискуете данными при блэдауте. Подходит для малого бизнеса, но не five-nines.

---

Proxmox ZFS: настройка, снапшоты и возможности

Proxmox zfs — король снапшотов. Установка: во время инсталла выберите ZFS, или постфактум apt install zfsutils-linux; zpool create -o ashift=12 tank mirror /dev/nvme0 /dev/nvme1. В GUI: Datacenter > Storage > Add > ZFS, укажите pool.

Снапшоты: zfs snapshot tank/vm-100@backup, клоны zfs clone tank/vm-100@backup tank/vm-clone. Автомат: cron с zfs-auto-snapshot. Компрессия zfs set compression=lz4 tank экономит 20-50%, dedup на RAM (не всегда выгодно).

ARC кэш — до половины RAM, tunable в /etc/modprobe.d/zfs.conf. Scrub еженедельно: zpool scrub tank. Для HA: репликация zfs send -R tank@daily | ssh node2 zfs recv pool2. Вики Proxmox хвалит sparse zvol для VM — thin как qcow2, но быстрее.

Минус? RAM. Но с 64GB на узел — огонь.

---

Сравнение Proxmox ZFS vs LVM Thin + HW RAID

Из форумного разбора: ZFS выигрывает в safety, LVM — в simplicity. Выбор? Если бюджет на ECC RAM и админов — ZFS. Иначе LVM для теста.

ZFS mirror ~ RAID10 по perf, но +integrity. Тесты показывают: ZFS 20% медленнее на seq write, но 50% быстрее recovery.

---

Разделение ОС и хранилища в Proxmox

Не лепите все в один пул — катастрофа при переполнении. ОС: local (ext4 или local-lvm 50-100GB). Хранилище VM: отдельный ZFS/LVM-thin на RAID-дисках. В инсталлере: root на sda (RAID1), data на sdb+ (RAIDZ).

Пост-установка: lvcreate -L 200G -n root pve; mkfs.ext4 /dev/pve/root. VM: lvcreate -L 10T -T thin pve/vmstore. В GUI: Datacenter > Node > Disks > Use as LVM-Thin.

Почему? OS не тонет с VM-данными. Мониторинг: pvesm status, алерты на 90%. Рекомендации по storage советуют datasets: zfs create tank/os, tank/vms.

Простой хак: бэкап root отдельно, VM — снапы.

---

HW RAID для SSD в Proxmox: проблемы TRIM и решения

SSD в proxmox ssd — для VM, но TRIM (discard) не проходит через HW RAID. Результат: пулы раздуваются, perf падает. Контроллеры (HBA или RAID) игнорируют UNMAP.

Решение:

1. Прямой доступ: IT-mode HBA (LSI 9207-8i flashed).
2. В гостях: fstrim -av в cron для Linux VM.
3. ZFS: zpool set autotrim=on pool (Proxmox 7+).

С HW RAID? Тестируйте: RAID0/1 для NVMe, но без parity. Форум ругает: ZFS mirror SSD лучше — native TRIM, special VDEV для metadata.

Вывод: SSD под ZFS, без HW. Perf + долговечность.

---

Альтернативы: Ceph для Proxmox кластера

Если кластер 3+ узла, Ceph — король distributed proxmox хранилище. RBD volumes с снапшотами, репликацией x3. Настройка: pveceph install; ceph osd pool create vms 128.

Плюсы: true HA, scale-out. Минусы: 10Gbit+ сеть, сложность. Для малого — overkill, но five-nines гарантирует.

ЗFS replication проще для 2 узлов.

---

Источники

1. Proxmox VE Storage — Руководство по типам хранилищ LVM, ZFS, Ceph: https://pve.proxmox.com/wiki/Storage
2. Proxmox VE Storage Systems — Детали thin-provisioning и shared storage: https://pve.proxmox.com/pve-docs/chapter-pvesm.html
3. Storage Considerations ZFS LVM — Обсуждение ZFS vs LVM-Thin в продакшне: https://forum.proxmox.com/threads/storage-considerations-zfs-lvm-lvmthin-file-and-thick-vs-thin.58557/
4. LVM-Thin vs ZFS for Safety — Сравнение снапшотов и надежности: https://forum.proxmox.com/threads/lvm-thin-vs-zfs-for-safety-and-snapshotting.82321/
5. Proxmox ZFS — Настройка ZFS пулов и снапшотов: https://pve.proxmox.com/wiki/ZFS
6. Best RAID Configuration for PVE — Рекомендации RAID10/6 и ZFS: https://forum.proxmox.com/threads/best-raid-configuration-for-pve.45145/
7. Hardware RAID or ZFS — Сравнение HW RAID с ZFS для SSD: https://forum.proxmox.com/threads/hardware-raid-or-zfs.159970/

---

Заключение

В итоге для Proxmox с 99.999% HA и снапшотами proxmox zfs в RAIDZ2/mirror — золотой стандарт: надежность плюс фичи. LVM Thin + HW RAID подойдет для простых setup, но рискуете данными. Разделяйте ОС и хранилище, SSD — под ZFS с TRIM, а для масштаба присмотритесь к Ceph. Начните с теста на вашем железе — uptime не ждет.