> > > > Server-Upgrade mit FlashStations: Hardwareluxx virtualisiert

Server-Upgrade mit FlashStations: Hardwareluxx virtualisiert

Veröffentlicht am: von

Seit wir unsere Webseite im Dezember 2000 registriert haben, gab es für Hardwareluxx.de diverse Server-Upgrades und Änderungen. Teilweise aus Wachstumsgründen, teilweise aus Gründen von Hardwarefehlern, haben wir in mehr oder weniger regelmäßigen Abständen unsere Server erneuert. Im Spätsommer dieses Jahres war es wieder einmal soweit: Dieses Mal wurde auf zwei Synology FlashStation FS3017 umgezogen - und gleichzeitig Hardwareluxx komplett virtualisiert.

Bereits in der Vergangenheit haben wir immer mal wieder von unseren Serverupgrades berichtet. Das letzte größere Upgrade war allerdings schon einige Zeit her, so tauschten wir 2015 ein paar SSDs und verbauten mehr RAM in unsere Server. Seit diesem Zeitpunkt werkelten unsere drei Server nahezu unverändert, nur bei den Datenträgern mussten wir ab und an eine SSD oder eine Festplatte zwangs Defekt ersetzen.

Auch wenn die Server weiterhin ordentlich liefen, mussten wir doch mal wieder an das Thema "neue Server": Bis zu einem Ausfall eines kompletten Gerätes wollten wir es nie kommen lassen, denn nicht nur Festplatten und SSDs altern, sondern auch ein Netzteil, Mainboard oder weitere Server-Komponenten können nach mehr als fünf Jahren in Dauernutzung durchaus einmal ausfallen. Und letztendlich lassen sich durch eine Modernisierung oftmals Geschwindigkeitsvorteile erzielen - und das Setup wird in der Regel robuster, stromsparender und durch modernere Features oftmals auch einfacher zu managen. 

Auf der Computex 2017 entstand die Idee für das nächste Server-Upgrade: Wie auch in unserem Video zu den Computex-Neuheiten 2017 zu sehen war, trafen wir dort das erste Mal auf eine FlashStation FS3017: Eigentlich als leistungsfähiges NAS gedacht, ist die FS3017 auch in der Lage, virtuelle Maschinen über Synologys Virtual Machine Manager bereit zu stellen. Aufgrund der Hardwareausstattung mit zwei schnellen Xeon-Prozessoren und ausreichend Möglichkeiten zur RAM-Aufstockung kam die Idee auf, auch unseren Web- und Datenbankserver auf einem "Synology-NAS" laufen zu lassen - und eine zweite FS3017 als Loadbalancer sowie über Synologys High Availability Möglichkeiten hochverfügbar laufen zu lassen. 

Zunächst musste allerdings Synologys DSM noch ein paar Versionen durchlaufen, denn die vorgestellten Möglichkeiten waren 2017 noch im Beta-Stadium. Mittlerweile ist sowohl Synologys VMM wie auch die SHA Lösung mehrfach geupdated worden, aus dem Beta-Stadium heraus und final einsetzbar. Somit machten wir uns im Sommer 2018 an die Umsetzung, Hardwareluxx auf den Synology FS3017 laufen zu lassen. 

Hierzu wurde zunächst etwas Planungsarbeit notwendig:

  • Die FS3017 mussten noch aufgerüstet werden, da sowohl beim RAM-Ausbau wie auch bei den Netzwerkkarten für unser Setup noch ein Upgrade notwendig war.
  • Festplatten und SSDs mussten beschafft werden, wobei wir trotz "FlashStation" auch noch auf Festplatten gesetzt haben, um höheren Speicherbedarf durch Backups, Datenbanken und ähnliches nicht auf teurem SSD-Speicher lagern zu lassen.
  • Für die Verbindung der Server musste ein Switch angeschafft werden, um die Hochverfügbarkeit im Fall eines Ausfalls oder eines Wartungsintervalls garantieren zu können.
  • Letztendlich mussten Virtuelle Maschinen vorbereitet werden, um die Daten und Aufgaben der bislang nicht virtualisierten Server übernehmen zu können.

Hardware-Aufrüstungen und Ausstattungen

In der Grundausstattung liefert Synology die FlashStation FS3017 mit bereits 64 GB DDR4-ECC-RDIMM (4x 16 GB) aus. Der maximale Speicherausbau beträgt 512 GB (16x 32 GB), verteilt auf 16 DDR4-RDIMM-Steckplätze inklusive Quad-Channel-Interface. Es können von Grund auf bis zu 24 SATA/SAS-SSDs oder auch SAS-HDDs im 2,5-Zoll-Format verstaut werden. Kommen die Erweiterungseinheiten zum Einsatz, geht es bis auf 72 Laufwerke hinauf. Die maximale Roh-Speicherkapazität beträgt 96 TB beziehungsweise 288 TB inklusive Erweiterungseinheiten. Die Nutzdatenspeicherkapazität richtet sich dann je nach verwendetem RAID-Level.

Für unsere Webseiten und die dahinterliegenden Services haben wir in der Vergangenheit 192 GB pro Server eingesetzt. Dies war großzügig dimensioniert, also gingen wir nach einigen Analysen davon aus, dass wir mit 256 GB Speicher pro FlashStation auskommen würden. Entsprechend haben wir beide FlashStations mit 192 GB zusätzlichem RAM ausgerüstet, wobei wir anders als Synology 32-GB-DDR4-Speichermodule verwendet haben, sodass theoretisch pro Server noch vier 32GB-Module hinzukommen könnten, ohne dass wir eingebauten RAM ersetzen müssten. 

Um zu einem späteren Zeitpunkt einen bestehenden Server und die beiden FlashStations untereinander mit einer schnelleren Verbindung als 10GB-Ethernet verbinden zu können, mussten auch die beiden 10GBe-Schnittstellen noch ergänzt werden. Hierzu bauten wir eine Erweiterungskarte von Intel je FlashStation ein, die X710DA2. Pro FlashStation stehen uns also 4x 10GBe zur Verfügung, die wir mit einem internen Switch verbinden (Netgear M4300-8X8F). Der Netgear-Switch stellt massig Performance zur Seite, und besitzt zudem auch umfangreiche Management-Möglichkeiten. 

Letztendlich brauchen wir Speicherplatz für die Daten - und diese werden mit Arrays aus Kingston DC400 SSDs und Seagate Exos10E2400 Festplatten realisiert. Insgesamt sechs Exos 10E2400 mit je 1 TB in jedem Server übernehmen Aufgaben, die auch auf Festplatten ohne Probleme lauffähig sind. Diese Datastores betreiben wir in einem RAID6. Weiterhin kommen pro Server neun Kingston DC400 mit einer Kapazität von 480 GB zum Einsatz. Diese betreiben wir einem RAIDF1 - die Vorteile dieses RAIDs, dass RAID5 als Vorbild hat, beschreibt Synology in einem White Paper. Gerade für SSD-Storage-Systeme ist es praktisch, da SSD-Laufwerke so möglichst nicht gleichzeitig ausfallen. Darüber hinaus setzen wir verschiedene Datenträger aus älteren Servern weiter ein, da durch unsere neuen SSDs und Festplatten nur 15 der 24 Einschübe belegt waren. Ältere SSDs oder Festplatten im 2,5-Zoll-Format haben wir so für weitere Ideen, Zwischenlösungen oder zum Ersatz einsatzbereit.

Insgesamt sieht unser Hardware-Aufbau somit folgendermaßen aus:

Hardwareluxx Server in der Übersicht
FlashStation FS3017 (I)FlashStation FS3017 (II)Ersatz-Server (Eigenbau)
Prozessoren2x Intel Xeon E5-2620 v32x Intel Xeon E5-2620 v32x Intel Xeon X5670
Speicher256 GB DDR4 (4x16GB + 6x32GB) reg. ECC256 GB DDR4 (4x16GB + 6x32GB) reg. ECC192 GB DDR3 reg. ECC
Haupt-
Storage
9x Kingston DC400 (480GB) im RAID F1
6x Seagate Exos 10E2400 (1TB) im RAID6
9x Kingston DC400 (480GB) im RAID F1
6x Seagate Exos 10E2400 (1TB) im RAID6
4x Samsung SM863 (480GB) im RAID10
Netzwerkint.: 2x 10GBe, 2x 1 GBe
2x 10GBe über Intel X710DA2
int.: 2x 10GBe, 2x 1 GBe
2x 10GBe über Intel X710DA2
int.: 2x 1 GBe
2x 10GBe über Intel X520DA2
Verbindung:über Netgear M4300-8X8Füber Netgear M4300-8X8Füber Netgear M4300-8X8F

Ziel ist es, den "Ersatz-Server" in naher Zukunft ebenso auszuschalten, momentan wird er im Rechenzentrum noch sicherhaltshalber vorgehalten.

Migration, Performance und Nutzung von Synologys Software

Ziel war es, unsere drei Server möglichst nacheinander in den Virtual Machine Manager von Synology zu migrieren. Wir begannen zunächst mit kleineren VMs, beispielsweise unserer Bilddatenbank, der russischen Webseite hardwareluxx.ru, einigen Backup- und Development-VMs. Diese befanden sich meist schon virtualisiert auf einem ESX-Server, sodass der Umstieg einfacher erschien. In den meisten Fällen wurden die VMs über einen Bare Metal Restore aus einem Backup wiederhergestellt und auf die FlashStations aufgespielt. 

Anschließend wurde der www-Server migriert, was das erste Mal die Synology FS3017 auch hardwaretechnisch richtig forderte. Theoretisch ist es uns durch die Leistungsfähigkeit einer FS3017 möglich, sämtliche VMs auf einer FlashStation laufen zu lassen, ohne dass die Performance der Webseite groß leidet. Um Lastspitzen abfangen zu können oder die Webseite auch für größere Besuchermengen gut gewappnet zu machen, bieten sich zwei Optionen: Zum einen kann über einen Loadbalancer die Last auf beiden FS3017 verteilt werden, zum anderen ist es auch möglich, CPU- und Speicherressourcen der zweiten FlashStation FS3017 zu nutzen, während die Daten nur auf einer FS3017 liegen. Über eine Replikation kann dann der Datenbestand auf die zweite FS3017 gespiegelt werden. Welche dieser Methoden zum Einsatz kommt, werden wir in den nächsten Monaten in verschiedenen Konfigurationen austesten.

Zudem bietet es sich auch an, die weiteren Apps von Synology für unser Team zu nutzen: Ob es nun Mail Pro, Chat, Calendar oder sonstige Collaboration-Tools sind, anstatt dies extern zu hosten oder externe Dienste in Anspruch zu nehmen, lässt sich durch die FS3017 zum einen die Datenhoheit gewährleisten, zum anderen aber auch Kosten einsparen, die durch den Einsatz von Clould- und Chat-Diensten größtenteils pro User zu entrichten sind. 

Ein paar Leistungstests haben wir auch mit den Synology FS3017 ausgeführt, diese sind aber erklärungsbedürftig:

Wie man sehen kann, ist die Reaktionszeit der einzelnen Cores im Sysbench deutlich verbessert - an der Ladezeit der Webseite ändert dies natürlich wenig. Insgesamt sind die neuen Xeon E5-2620v3 von Intel also deutlich performanter als unsere bereits veralteten Xeon E5620, was natürlich dazu führt, dass wir mehrere VMs auf eine FlashStation bringen können, den Seitenaufbau der Webseite beeinflusst dies aber nicht, da auch der Xeon E5620 bereits schnell ausliefern konnte. Hier sind dann eher andere Faktoren (Größe der Webseite, Requests an den Datenbankserver etc.) ausschlaggebend.

Interessant ist aber der Netzwerkdurchsatz, der signifikant gesteigert werden konnte - Daten zwischen VMs auszutauschen wird also deutlich leistungsfähiger als bislang zwischen zwei dedizierten Servern. 

Fazit

In vielfältiger Art und Weise haben wir durch den Umstieg auf die neue Architektur Vorteile:

Zum einen zunächst einmal hinsichtlich der Management-Funktionen: Eine DSM-Oberfläche lässt sich einfach administrieren - hier sind zunächst einfache Nachrichten zu nennen, die eine Flash- oder DiskStation bei Festplatten- oder SSD-Problemen versenden kann, aber auch User, Backups, App-Updates und vieles mehr lassen sich komfortabel und ohne große Kenntnis durchführen. Theoretisch könnten wir auch einem Nicht-Administrator in unserem Team die Möglichkeit geben, Benutzer für neue Mitarbeiter anzulegen, sich um Kontakte und Kalender zu kümmern oder per Klick VMs zu restarten, wenn kein Admin in Reichweite ist. Für ein kleines Team wie das unsere ist dies ein deutlicher Flexibilitätsgewinn.

Vorteile ergeben sich zudem durch die einheitliche Architektur: In der Theorie wäre es möglich, das System aus zwei FS3017 zu erweitern - entweder wenn Performance notwendig ist durch eine weitere FS3017, aber auch über Erweiterungseinheiten wie die RX2417sas, mit der 24 SSDs hinzugefügt werden könnten. So ist es uns möglich, einfach auf zukünftige Erfordernisse zu reagieren und diese in die Architektur einzubinden, ohne dabei andere Systeme zu verwenden und somit den Verwaltungsaufwand wieder zu erhöhen.

Letztendlich ergeben sich auch diverse Möglichkeiten, unsere laufenden Kosten zu senken: Durch den Einsatz von Chat und eigenen Cloud-Diensten sind wir nicht auf externe Anbieter und deren monatliche Beträge angewiesen. Zudem ist es uns möglich, durch eine moderne Architektur die teilweise bis zu acht Jahre alten Server zu ersetzen. Diese verbrauchen aufgrund der älteren CPUs, Festplatten und weniger effizienten Netzteile teils deutlich mehr Strom als unsere FS3017. Das kommt letztendlich auch unserem Budget zu Gute, denn in jedem Rechenzentrum ist Strom äußerst teuer bezahlt, weil nicht nur der verbrauchte Strom bezahlt werden muss, sondern auch die entstandene Wärme über Klimaanlagen wieder entsorgt werden muss. 

Der größte Effekt könnte aber die Ausfallsicherheit sein: An unserer Webseite hängen sämtliche Einnahmen, die wir über Werbung generieren. Läuft die Webseite nicht, gibt es auch keine Einnahmen - und letztendlich kann auch keiner der Redakteure produktiv arbeiten und Artikel schreiben. Ein Failover durch einen zweiten Server - sei es nun manuell oder über Hochverfügbarkeit - bietet uns die Möglichkeit, Ausfälle auf das Minimum zu beschränken. Zudem können Updates vorgetestet werden und innerhalb weniger Minuten eingespielt werden. Für uns ist das ein finanzieller Effekt, für den Leser ein Komfortgewinn, dass Hardwareluxx auch möglichst immer erreichbar ist.

Letztendlich können wir bereits jetzt festhalten, dass der Umstieg insgesamt einfacher zu realisieren war, als vorher angenommen. Synologys Virtual Machine Manager - den wir in der aufgebohrten Pro-Version nutzen - ist für uns als Virtualisierung absolut ausreichend. Kleinere Klippen müssen natürlich auch in der Zukunft mit dem System umschifft werden, denn beispielsweise muss bei einem DSM-Update eine FS3017 zunächst heruntergefahren werden, das Update durchgeführt werden und dann wieder hochgefahren werden. Durch den Einsatz von zwei FS3017 können wir die VMs aber zunächst auf eine FS3017 umziehen, um dann die "leere" FS3017 zu updaten. 

Allerdings lässt sich in dem Zusammenhang auch erwarten, dass Synology in zukünftigen DSM-Versionen weitere nützliche Features integriert, die wir als Team, für den VMM oder für SHA nutzen können.

Vergleicht man Synology mit anderen Serveranbietern, so ist dies auch sicherlich der Unterschied, der bei uns den ausschlaggebenden Punkt dargestellt hat: Reine Hardware bekommt man abgestimmt auch von anderen Unternehmen, bei der zur Verfügung gestellten Software hat Synology aber ein Alleinstellungsmerkmal. Große Firmen können darauf vielleicht verzichten, weil man es sich erlauben kann, eigene proprietäre Anwendungen zu verwenden und zu managen. In einem kleinen Unternehmen, wo alles effizient und schlank sein muss, stellen solche Beigaben und Lösungen aber einen durchaus attraktiven Vorteil dar. Zudem sind die Lösungen durchaus sehr skalierbar und können über Erweiterungseinheiten auf wachsende Unternehmensinfrastrukturen abgestimmt werden. 

Social Links

Kommentare (8)

#1
customavatars/avatar258960_1.gif
Registriert seit: 13.08.2016
Landau
Stabsgefreiter
Beiträge: 329
schalke.hardwareluxx.de?
ich muss weg hier :D

ne spass, intressanter artikel. hat laune gemacht im homelab zu basten :) vielen dank dafuer!
#2
Registriert seit: 18.05.2007

Admiral
Beiträge: 10133
256GB RAM ist aber doch gewaltig oversized für Luxx. Da würden vermutlich sogar 32/64GB reichen. Ansonsten nicht schlecht, aber alles etwas OverSized. ^^
#3
customavatars/avatar44628_1.gif
Registriert seit: 10.08.2006
Landshut
Oberleutnant zur See
Beiträge: 1507
@Romsky, wie kommst Du darauf, das 32/64 GB reichen würden?

Allein das Hostsystem freut sich schon über RAM, der nicht anderen zwecken, wie z.B. den VMs zur Verfügung gestellt wird, um dadurch z.B. Schreib- und Lesevorgänge zu beschleunigen.

Je nach Größe der DB freut es den Anwender, wenn diese ggf. sogar komplett im RAM läuft -> schnellere Ladezeiten des Webservers gehen dann auch auf mehr RAM zurück.

mit RAM ist es wie mit Hubraum - man kann nie genug davon haben.

Mein Office/Gaming-PC hat auch 16GB RAM, obwohl die in den seltesten Fällen ausgelastet werden - who cares ?
#4
customavatars/avatar190689_1.gif
Registriert seit: 04.04.2013

Oberleutnant zur See
Beiträge: 1443
Ich frage mich, ob „cloud-native“ nicht doch billiger wäre?
Habt ihr da mal eine Wirtschaftlichkeit Rechnung gemacht ?
Ich glaube ihr wärt , inklusive Patching und Adminaufwanf bei AWS oder Azure günstiger.
#5
customavatars/avatar33234_1.gif
Registriert seit: 11.01.2006
Hochheim am Main
Leutnant zur See
Beiträge: 1044
Gute Präsentation dieses Projekts auf der Synology2019 :)
#6
Registriert seit: 18.05.2007

Admiral
Beiträge: 10133
@konfetti
Ganz einfach ich bezweifle das Luxx so großen Load/User und Traffic hat das so viel nötig ist. Da gibt es weitaus größere Foren welche kleinere Hardware fahren! ;)
#7
customavatars/avatar80052_1.gif
Registriert seit: 15.12.2007
8XXXX
Oberleutnant zur See
Beiträge: 1509
Interessant zu sehen, danke für den Einblick!
#8
Registriert seit: 18.07.2016

Bootsmann
Beiträge: 611
Und mit was für einer Leitung hängt das Teil im Netz ? Das ist wohl die spannendere Frage...
Um Kommentare schreiben zu können, musst Du eingeloggt sein!