Proxmox Home Server Storage Erweiterung

[andika]

Hallo zusammen.

Ich habe aktuell folgenden Home Server:

CPU: AMD Ryzen 5 PRO 4650G (6C/12T)
MB: ASUS TUF Gaming B550M-Plus
RAM: 4x 32 GB DDR4-3200 ECC
NT: picoPSU-160-XT
Gehäuse: Inter-Tech 4088 [Rev. 2], 4HE
OS: Proxmox Virtual Environment
ZFS Pools:
- Mirror Pool 1 für OS+VMs: 2x Intel D3-S4510 (240 GB S-ATA SSD)
- Mirror Pool 2 für VMs: 2x Intel D3-S4520 (3,84 TB S-ATA SSD)

Der VM-Pool hat bereits 80 % Füllgrad. Für große Datasets kann ich bereits keine Snapshots mehr anlegen, daher möchte ich zeitnah erweitern - die Frage ist nur wie? Das Board hat leider nur 4 S-ATA Anschlüsse. Mir ist hohe Zuverlässigkeit (ZFS Mirror, Enterprise SSDs) am wichtigsten, danach folgt möglichst geringer Stromverbrauch.

Ich sehe aktuell zwei Optionen:

1. Einen vorhandenen Dell PERC H310 / LSI SAS 9211-8i einbauen. Dieser wird den Stromverbrauch allerdings um mind. 6 W erhöhen. Zwei weitere S-ATA SSDs kaufen und damit Pool 2 erweitern.

2. Zwei NVMe kaufen und als neuen OS Pool verwenden. Die beiden D3-S4510 ausbauen. Zwei weitere S-ATA SSDs kaufen (plus Erweiterungskabel für die picoPSU) und damit Pool 2 erweitern.

Welche Option würdet ihr wählen? Seht ihr noch andere Optionen?

Danke und Grüße
andika

 

[Supaman]

1) die 240er SSDs durch was größeres ersetzen
2) PCIe m2 Adapter - wenn mehrere m2 auf eine Karte sollen, muss das Board Bifurcation unterstützen
3) PCIe Sata Controller
4) m2 Slot auf SATA Adapter https://www.amazon.de/dp/B0BWHDPZ7D
5) PCIe Adapterkarte für u2 SSDs https://www.amazon.de/dp/B0D3XX7PSF

 

[gea]

Ich würde perspektivisch auf einen Hybrid Pool setzen um ausreichend Kapazität zu haben z.B. einen 2x 10-24TB Mirror als Basis. Dazu ein special vdev Mirror für VMs und performancekritische Daten. Dafür kann man die 4520 hernehmen. Die 240 GB als Bootdisk und für isos ist ok. OS und Datenpool zu trennen ist vorteilhaft.

Alternativ die 4520 als Bootmirror und für VMs, dazu einen HD Pool und optional einen schnellen NVMe Mirror als special vdev. Ich würde es bei 4x Sata belassen und künftig auf NVMe setzen (M.2 oder auf PCI-e Adaptern)

ps
Wenn man Erweiterungen plant, eine externe USB Platte für Backup mit einplanen

 

[Trambahner]

B550M Tuf Plus? Kenn ich.

Mit dem 4650G unterstützt das Board x8x8 und x8x4x4 Bifurcation wunderbar, das Board hat auch kein Sharing mit dem PCIe x4-Slot
=> Es gibt also 4x Sata , bis zu sechs x4 M2 und den x1 PCIe-Slot. Proxmox/Debian erkennt auch die Asmedia ASM116x Controller wunderbar.

Der größte Engpass ist der Link zwischen CPU und Chipsatz, der halt nur gen3x4 => 3,4 GiB/s maximum gleichzeitig pro senden und empfangen. D.h. pflastert man die Sata und die Slots am Chipsatz mit SSDs voll, sättigt sich das schnell wenn schnell sequentiell zugegriffen wird.

Ein 5600X würde sich evtl. anbieten, um die Bandbreite auf den CPU PCIe-Lanes zu erweitern auf gen4 PCIe und er kann auch x4x4x4x4 Bifurcation. Der Preis ist aber erhöhte Leistungsaufnahme, etwa 6-7W mehr im Idle.
Nach installation kann eine Graka raus, das Board kann headless durchbooten.

 

[Liesel Weppen]

2. Zwei NVMe kaufen und als neuen OS Pool verwenden. Die beiden D3-S4510 ausbauen. Zwei weitere S-ATA SSDs kaufen (plus Erweiterungskabel für die picoPSU) und damit Pool 2 erweitern.

Da du das OS selbst nicht separiert hast, sondern anscheinend selbst schon auf einem Pool hast, würde ich generell erstmal die beiden M.2 Slots bestücken.
Da kannst ja die Größe auch gleich entsprechend wählen, also z.B. 2x4TB reinstecken. Dann brauchst du die beiden kleinen SATA-SSDs ja vorerst noch nichtmal durch was Größeres ersetzen, bzw. kannst die erstmal ohne Ersatz in Rente schicken.
Oder du lässt die beiden kleinen als OS-Pool und machst aus den beiden M.2s eben einen neuen Pool.

Warum soll man irgendwelche PCIe- oder M.2-Adapter dazubauen, wenn noch Anschlüsse, noch dazu die beiden schnellsten, komplett frei sind?
Je nach deinem Anwendungsfall/Geschwindigkeitsansprüchen könnte man bei noch mehr Platzbedarf ja dann auch darüber nachdenken, die beiden frei gewordenen SATA-Anschlüsse mit wesentlich größeren HDDs zu bestücken.

 

[andika]

Danke für eure Antworten!

Ich würde gerne OS und die VMs getrennt lassen, um das OS im Notfall neu installieren zu können, ohne alles restoren zu müssen.

Bzgl. m.2 auf S-ATA Adapter mit ASM1166 Chipsatz habe ich gelesen, dass die funktionieren, aber es - auch erst später - zu Problemen und Datenverlust kommen kann. Daher würde ich das lieber vermeiden. Ansonsten wäre das eine super Option. Oder seht ihr die auf gleichem Qualitätslevel wie HBAs von LSI?

@Trambahner Deine Posts haben mit dazu beigetragen, dass ich 2022 das Board gekauft habe Der Durchsatz ist bei mir aktuell eher nicht das Problem. Die Last, auch bzgl. I/O, auf meinem Server ist niedrig. Das mit Bifurcation 4x4x4x4 ist gut zu wissen.

Ich hätte aktuell noch eine WD_BLACK SN850X 4 TB aus einem anderen Projekt übrig und könnte eine zweite kaufen.

Variante 1a:
- Pool 1 (Mirror VDEV) für OS: 2x Intel D3-S4510 (240 GB S-ATA SSD)
- Pool 2 (Mirror VDEV) für VMs: 2x Intel D3-S4520 (3,84 TB S-ATA SSD)
- Pool 3 (Mirror VDEV) für VMs: 2x WD_BLACK SN850X (4 TB NVME)
=> ~4 TB mehr Storage, etwas unflexibel

Variante 1b:
- Pool 1 (Mirror VDEV) für OS: 2x Intel D3-S4510 (240 GB S-ATA SSD)
- Pool 2 für VMs:

- Mirror VDEV 1: 2x Intel D3-S4520 (3,84 TB S-ATA SSD)​

- Mirror VDEV 2: 2x WD_BLACK SN850X (4 TB NVME)​

=> ~4 TB mehr Storage, aber verschiedene Disk-Typen in einem Pool...

Ich könnte alternativ zwei weitere D3-S4520 hinzunehmen und die S-ATA SSDs durch NVMEs für das OS ersetzen.
Mit einem RAIDZ-1 würde ich deutlich mehr Speicherplatz hinzugewinnen. Bisher habe ich ausschließlich Mirrors verwendet.
Als NVME z. B. Intel Optane H10 256GB + 16GB (29 €/Stück bei ebay).

Variante 2a:
- Pool 1 (Mirror VDEV) für OS: 2x NVME
- Pool 2 für VMs:

- Mirror VDEV 1: 2x Intel D3-S4520 (3,84 TB S-ATA SSD)​

- Mirror VDEV 2: 2x Intel D3-S4520 (3,84 TB S-ATA SSD) zusätzlich​

=> ~3,84 TB mehr Storage

Variante 2b:
- Pool 1 (Mirror VDEV) für OS: 2x NVME
- Pool 2 für VMs:

- RAIDZ-1 VDEV: 4x Intel D3-S4520 (3,84 TB S-ATA SSD)​

=> ~7,68 TB mehr Storage, dafür etwas weniger Ausfallsicherheit. Da ich regelmäßig sichere und ich mit den Intel SSDs bisher sehr gute Erfahrungen gesammelt habe, sehe ich das eher entspannt. Die Performance im Vgl. zu Mirrors kann ich nicht einschätzen.

Die Variante von @gea mit zwei HDDs finde ich auch interessant. Habe bisher aber keine Erfahrung mit Special VDEVs gesammelt. Lohnt sich das "nur" für die Metadaten ein relativ großes Special VDEV zu verwenden? Den Special Mirror kann ich dann nicht mehr für Datasets verwenden, richtig?

Variante 3:
- Pool 1 (Mirror VDEV) für OS: 2x NVME
- Pool 2 für VMs:

- Mirror VDEV: 2x S-ATA HDDs (12-24 TB)​

- Special Mirror VDEV: 2x Intel D3-S4520 (3,84 TB S-ATA SSD)​

=> ~8-20 TB mehr Storage (da die S4520 für den Special Mirror entfallen?)

Aktuell sichere ich auf einen separaten TrueNAS Host, den ich 1x pro Woche nur fürs Backup hochfahre. Ich könnte die Pools daher auflösen und neu aufbauen.

 

[gea]

Danke für eure Antworten!

Ich würde gerne OS und die VMs getrennt lassen, um das OS im Notfall neu installieren zu können, ohne alles restoren zu müssen.

Die Variante von @gea mit zwei HDDs finde ich auch interessant. Habe bisher aber keine Erfahrung mit Special VDEVs gesammelt. Lohnt sich das "nur" für die Metadaten ein relativ großes Special VDEV zu verwenden? Den Special Mirror kann ich dann nicht mehr für Datasets verwenden, richtig?

Ein Special Vdev kann 3 Arten von Daten speichern

1. Metadaten (ist nur bei sehr vielen Dateien relevant)
2. kleine Dateien eines Dateisystems (filesize < small blocksize), gut für Office Dateien
3. alle Dateien eines Dateisystems (recsize <= small blocksize), gut für VMs

Mit zfs rewrite kann man Dateien zwischen hd und flash verschieben (oder ein rebalance machen)
ab OpenZFS 2.4: Ein Special Vdev arbeitet auch als Slog