eigentlich … ja eigentlich habe ich mein homelab downgesized, um strom zu sparen.
ich war auch ziemlich erfolgreich und bin von 190w auf unter 100w gekommen.
aber es kommt ja bekanntlich immer anders und zweitens als mein denkt
ich muss meinen alten cluster wieder in betrieb nehmen, aber diesmal reicht mir ein zfs sync für die wichtigsten vms nicht aus.
und jetzt zu meinem problem: shared storage als cluster block storage
für ceph reicht vermutlich mein netzwerk nicht aus. ich hab zwar durchgängig 10gbit, aber was ich so gelesen habe, sollten es wohl besser 25 und mehr sein, damit das performant läuft.
ich habe einen spare server, auf dem könnte ich ein truenas baremetal mit full flash laufen lassen.
meine überlegung war das ganze über nvme over tcp mit multipath laufen zu lassen und im cluster über lvm die nvmes einzubinden ... doofer gedanke?
oder doch wieder traditionell mit iscsi und ebenfalls multipath.
das storage backend könnte ich mit 4x10g anbinden, alle hypervisor haben dual 10g.
aktuell sind die netzwerkkarten über lacp gebonded und als redundanz noch ein zweiter bond mit einer 1g onboard als backup konfiguriert. auf dem zweiten bond habe ich die vlans konfiguriert.
wenn ich jetzt über zwei weitere vlans den storage anbinde, beeinträchtigt es zwar die netzwerkperformance der laufenden vms, aber die redundanz bleibt erhalten.
reicht mir die performance mit 20g pro host und 40g im backend aus, um ca. 50 vms und lxcs laufen zu lassen (darunter ist auch leider ein micidoof sql server)?
oder seht ihr eine bessere/andere lösung?
dann wäre mir noch eure meinung wichtig, ob ich die nvmes „gedoppelt“ im „raid 1“ unter lvm laufen lassen sollte, oder sie als single verwenden soll?
ich habe 3 pbs im einsatz, somit sollte sicherung kein problem sein; die wichtigsten vms würde ich jede ½h stunde sichern.
außerdem ist das wear leveling meiner aktuellen nvmes -seit 1 jahr im dauerbetrieb- gerade mal bei 1%
von der dimensionierung habe ich folgendes zur verfügung:
3 proxmox mit 128gb ecc und ryzen 6 kern apus,
das backend 64gb ecc, eine 6 kern apu, 2x4tb nvme, 4x2tb nvme und 6x1TB ssd.
wenn mir die cpu leistung nicht reichen sollte, habe ich noch einen 10 kerner und zwei 8 kerner im schrank als „ersatz“ liegen.
nachdem der ram mittlerweile utopische preisregionen errreicht hat, bin ich da ausgereizt, ich könnte lediglich den cluster um meine aktuellen proxmox server mit je 96gb erweitern.
ich weiß einen menge fragen … aber für hilfe wäre ich dankbar
ich war auch ziemlich erfolgreich und bin von 190w auf unter 100w gekommen.
aber es kommt ja bekanntlich immer anders und zweitens als mein denkt
ich muss meinen alten cluster wieder in betrieb nehmen, aber diesmal reicht mir ein zfs sync für die wichtigsten vms nicht aus.
und jetzt zu meinem problem: shared storage als cluster block storage
für ceph reicht vermutlich mein netzwerk nicht aus. ich hab zwar durchgängig 10gbit, aber was ich so gelesen habe, sollten es wohl besser 25 und mehr sein, damit das performant läuft.
ich habe einen spare server, auf dem könnte ich ein truenas baremetal mit full flash laufen lassen.
meine überlegung war das ganze über nvme over tcp mit multipath laufen zu lassen und im cluster über lvm die nvmes einzubinden ... doofer gedanke?
oder doch wieder traditionell mit iscsi und ebenfalls multipath.
das storage backend könnte ich mit 4x10g anbinden, alle hypervisor haben dual 10g.
aktuell sind die netzwerkkarten über lacp gebonded und als redundanz noch ein zweiter bond mit einer 1g onboard als backup konfiguriert. auf dem zweiten bond habe ich die vlans konfiguriert.
wenn ich jetzt über zwei weitere vlans den storage anbinde, beeinträchtigt es zwar die netzwerkperformance der laufenden vms, aber die redundanz bleibt erhalten.
reicht mir die performance mit 20g pro host und 40g im backend aus, um ca. 50 vms und lxcs laufen zu lassen (darunter ist auch leider ein micidoof sql server)?
oder seht ihr eine bessere/andere lösung?
dann wäre mir noch eure meinung wichtig, ob ich die nvmes „gedoppelt“ im „raid 1“ unter lvm laufen lassen sollte, oder sie als single verwenden soll?
ich habe 3 pbs im einsatz, somit sollte sicherung kein problem sein; die wichtigsten vms würde ich jede ½h stunde sichern.
außerdem ist das wear leveling meiner aktuellen nvmes -seit 1 jahr im dauerbetrieb- gerade mal bei 1%
von der dimensionierung habe ich folgendes zur verfügung:
3 proxmox mit 128gb ecc und ryzen 6 kern apus,
das backend 64gb ecc, eine 6 kern apu, 2x4tb nvme, 4x2tb nvme und 6x1TB ssd.
wenn mir die cpu leistung nicht reichen sollte, habe ich noch einen 10 kerner und zwei 8 kerner im schrank als „ersatz“ liegen.
nachdem der ram mittlerweile utopische preisregionen errreicht hat, bin ich da ausgereizt, ich könnte lediglich den cluster um meine aktuellen proxmox server mit je 96gb erweitern.
ich weiß einen menge fragen … aber für hilfe wäre ich dankbar
