Hardware-Konfiguration: VMware ESX

[XTaZY]

Hey liebe Luxxer,
ich möchte in meinem Sommerurlaub anfangen mir ein ESX-Server zulegen / zusammenzubasteln.

Auf dem ESX sollen ca. 4-5 virtuelle Maschinen laufen ...


Meine Vorstellung sieht so aus:

CPU: Intel Xeon UP X3440
Mainboard: Tyan Toledo S5502
RAM: 4x 2 GB Kingston ValueRAM KVR1333D3N9/2G
Gehäuse: Sharkoon Rebel 9 Aluminium
Netzteil: Enermax PRO82+ 525 Watt



Später wollte ich noch weitere 4GB DDR3 RAM & ein 8-Port SATA Raid-Controller mit acht Samsung F2 1500 GB verbauen.
Dachte beim Raid-Controller an ein Dell Perc 5i ...

Wird der Perc den von dem ESX-Server unterstützt ?
Was für eine Raid-Variante empfiehlt ihr mir ?
Tendiere zu einem Raid-50 ...

Habt ihr irgendwelche Vorschläge bezüglich der Hardware ?



Würd mich auf ein paar Antworten freuen

 

[fdsonne]

Die Hardware sollte so passen. EInzig, du kannst mit dem OnBoard Controller wohl kein Raid fahren. Sondern dazu brauchst einen dedizierten Raidcontroller. Der Dell müsste sauber funktionieren soweit ich weis.

Zum Raidlevel. Ich würde wenn dann auf ein Raid 10 oder mehrere Raid 1 Array setzen.
Wobei ich mich frage, für was du so viel Speicher am ESX brauchst.

Der ESX kann nur mit 2TB LUNs umgehen. Sprich ein einziges Raid 50 oder beispielsweise Raid 10 würde auch nicht funken, weil mehr als 2TB. Du müsstest dann in dem Fall mehrere LUNs auf dem Array erstellen mit max. 2TB größe um diese an den ESX zu linken...

 

[XTaZY]

Erstmal danke für die Antwort

Ich könnte doch über das Konfigurationsmenü des Dell Perc ( während des Boot-Prozesses ), ein RAID-Verbund ( z.B. RAID50 ) erstellen und später dann dadrauf die einzelnen LUN´s verteilen ... oder seh ich das falsch ?

Können LUN´s untereinander kommunzieren bzw. Daten austauschen ?
Wollte auf dem ESX noch ein Teil meiner Daten ablegen ...

Kann man davon ausgehen, dass VMware die 2TB-Grenze aufhebt bzw. behebt ?

Könnten mir die Onboard Intel-NIC´s während der Installation Probleme ( fehlende Treiber, etc. ) bereiten ?

Kann ich mit der Server-Hardware auch 64Bit-Betriebssysteme virtualiseren ?

 

[fdsonne]

Wenn der Dell das kann, dann geht das Problemlos. Nachteil bleibt halt die 2TB Grenze, du müsstest dann in den VMs halt mehrere virtuelle 2TB HDD Container einlinken.
Theoretisch kannst du dann sogar im Gast OS diese Container wieder zu einem großen logischen Laufwerk zusammen schließen. Aber hier sollte man das ganze ohne Raidlevel machen, sondern im JBOD Modus fahren (HDDs werden aneinander gekettet) weil sonst gleichzeitige Zugriffe auf das eine physische Raidarray nötig wären, was die Datenrate in den Keller drückt.

Ob man die 2TB Grenze irgendwann aufhebt, kann ich nicht sagen. IdR braucht auch niemand derart große Arrays am ESX Host. Zumahl es nichtmal Single HDDs größer 2TB derzeit gibt, was diesen Schritt begründen würde.

Ich bin mir nicht ganz sicher wie es ausschaut, wenn man die phyischen Disks direkt durchreicht. Vllt kann man ja da die 2TB umgehen... Keine Ahnung.


Zum anderen, was meinst du mit LUNs untereinander kommunizieren?
Für den ESX sehen die LUNs aus wie verschiedene HDDs, wenn du nun Daten von links nach rechts kopierst, also von LUN 0 auf LUN 1 beispielsweise, dann ließt und schreibt er gleichzeitig auf dem einen physischen Array.
Geschwindigkeitstechnisch wäre es dann wohl besser, wenn du mehrere kleine physische Arrays erzeugst und diese in verschiedene LUNs packst. Um das gleichzeitige Lesen/Schreiben zu umgehen.

Zu den NICs, die Intel Karten sollten ohne Probleme funkionieren. Auf meinem Intel S5000PSL funken auch beide Intel Gigabit NICs ohne Zutun meinerseits.

Und ja, 64Bit geht ebenso in den VMs.


Was mir aber gerade noch einfällt. Es gibt wohl derzeit noch Probleme mit den S1156er Sockel. Sprich es könnte sein, das der Onboard Storagecontroller gar nicht erkannt wird. Sofern du aber Zeitnah den Dellcontroller reinschieben willst, sollte sich das Problem nicht weiter nachteilig auswirken.

 

[XTaZY]

Ich schau, dass ich den Perc gleich von Anfang verbauen kann & werde mal testen ob man im Gast-Betriebssystem, die LUN´s miteinander verknüpfen kann ...

Danke für deine Info´s

 

[DarkDeveloper]

Später wollte ich noch weitere 4GB DDR3 RAM & ein 8-Port SATA Raid-Controller mit acht Samsung F2 1500 GB verbauen.

Den Speicher wirst du dann wohl nur erweitern können, wenn du die Module gegen größere austauschst. 3 Module pro Channel gehen soweit ich weiss nur mir registered DIMMs und auch bei denen muss man aufpassen, die richtigen zu erwischen.

 

[underclocker2k4]

Das hat unser dunkler Entwickler richtig erkannt.

unbuffered DIMMs sind maximal 2/chan zulässig. Willst du später auf Vollbestückung wechseln (3DIMMs/chan) werden RIMMs fällig. Das heißt, du müßtest später komplett auf RIMMs(buffered) wechseln.

Daher rate ich unbedingt jetzt schon auf RIMMs zu setzen, oder aber auf 1366er Socket zu gehen. Die haben eh nur 2Riegel/chan und somit hast du das Problem net.

 

[fdsonne]

Laut Tyan Page gehen 16GB non Reg. und 32GB Reg. Speicher...
Das müssten doch bei 4x2GB=8GB mit weiteren 2x2GB denke ich noch keine Probleme aufkommen...
Theoretisch sollte die Anzahl der Module ansich überhaupt keinen Einfluss haben, sondern eher die Anzahl der Ranks, die belegt wird. Wenn man also zwei Module mit zusammen gleichviel Ranks verbaut, wie ein einziges großes Modul müsste das dennoch funktionieren...

Zur Sicherheit könnte man aber nochmal bei Tyan direkt nachfragen...

 

[underclocker2k4]

Also das Handbuch, was ich hier habe, entspricht den SPECs von Intel. Und die sagen, oben gesagtes.

chapter 2.8 Mem installing

EDIT: 16GB= 4x4!

Mehr als 2 unbuffered Riegel per Chan sind nicht zulässig. Das wird sich wohl auch nicht ändern. Hier ist einfach zuviel auf dem Membus los, als dass der IMC das alleine bewerkstelligen könnte. Außer man fährt die Taktraten soweit in den Keller, dass nichts mehr überbleibt.

2nd EDIT:
Doch doch, die Module haben eigentlich den größten Einfluß auf die Problemmatik. Sie bringen, auf Grund ihrer zusätzlichen Leitungslänge, soviel Krissel auf den Datenbuß, dass der IMC ohne zusätzliche Register im RAM das nicht mehr handlen kann.

 

[fdsonne]

Ne du verstehst mich net ganz...

Wenn du zwei dual Rank Riegel hast, und gegen einen quad Rank Riegel vergleichst sieht das für den Mem. Controller exakt gleich aus.
Das war zumindest bis jetzt immer so, sowohl bei DDR1, DDR2 als auch bei DDR2-FB-Dimm...

Der Memory Controller kann soweit ich weis nur mit einer bestimmten Anzahl an Ranks umgehen. Überschreitet man diese Zahl, so ist eben kein stabiles Arbeiten mehr machbar.
IdR gilt, umso größer das Modul, desto mehr Ranks wird es haben.
Ebenso kann man sagen, das große Riegel mit wenig Ranks teils drastisch teurer sind als gleichgroße Riegel mit mehr Ranks. Eben weil man mit weniger Ranks mehr Problemen aus dem Weg geht, vor allem bei Vollbestückung.


Ich meine mich beispielsweise daran erinnern zu können, der S939 A64 90nm Memory Controller konnte mit 6 Ranks umgehen. Vier Dual Rank (üblicherweise double sited Module) waren aber arg problematisch, liefen teils nicht mit vollen 200MHz oder nur mit arg verschlechterten Timings.
Die gleiche Speichergröße aber mit vier single Rank Modulen geht problemlos...

 

[underclocker2k4]

Ich weiß schon was du meinste. (stehen ja beide im Stoff)

Es ist aber ein unterschied, ob da einfach nur 2 Chips direkt parallel auf dem Bus hängen, oder ob da noch nen "halber meter" Draht dazwischen ist. (1. Dual Rank, 2. Dual Modul)

Letzteres kann gehen

Mehr als 2 unbuffered Riegel per Chan sind nicht zulässig. Das wird sich wohl auch nicht ändern. Hier ist einfach zuviel auf dem Membus los, als dass der IMC das alleine bewerkstelligen könnte. Außer man fährt die Taktraten soweit in den Keller, dass nichts mehr überbleibt.

ist aber nicht mehr innerhalb der SPECs=kein sicherer Betrieb gewährleistet.

Das mit den Ranks ist eigentlich nur bei RIMMs von Bedeutung. Bei DIMMs gilt einfach: 2Module/chan und die Welt ist schön. Alles andere ist ein: kann, muß aber nicht. Und somit ist das, für mich, keine Option.

EDIT:
Das hat schon einen Grund, warum die bei den Homeuser 1156er Boards keine 6 Slots drauflöten. Das wäre für die ein leichtes, würde sogar noch verkaufsfördernd sein. Was aber nicht geht, geht net.

 

[MAFRI]

bis auf die "nur" 8GB ram finde ich das teil in ordnung

 

[underclocker2k4]

Speicher kostet halt Geld.

4GB Riegel kosten mal eben 7,5EUR/GB mehr wie 2GB Riegel.
Wenn man das auf 8 hochrechnet:60EUR. Hier hat man dann noch keinen Mehrwert.

RAM ist zwar immer OK, hat aber auch seinen Preis.

Was soll denn auf den Maschinen laufen? (würden die denn mit zB 1GB/VM auskommen?)

 

[MAFRI]

Genau das war mein Gedanke...
man stelle ich 2 win vm's vor und noch nen SQL oder MySQL in na VM etc...

da sind 4GB ratz fatz weg
ich komm hier manchmal mit 32GB nichtmal mehr hin...

 

[underclocker2k4]

Der Trend geht ja auch zu 64GB.

 

[MAFRI]

Der Trend geht ja auch zu 64GB.

Menno
hrmm 16x2Gb konnte ich noch locker dazupacken - frei wäre ja

nur im moment braucht der im schnitt "nur" 27GB - also noch im grünen bereich und 5 frei um rumspielen

aber nun

 

[XTaZY]

Also ich hab mir noch einmal die Anleitung des Tyan-Boards zu Gemüte geführt & es hat leider den Anschein, dass bei 8 GB unbuffered RAM Ende Gelände ist.

( s. Grafik )



Leider besitze ich den unbuffered RAM und das Netzteil schon, aber ich denke dass die 8GB RAM gut mit den ~ vier VMs zurecht kommen sollten ...

 

[underclocker2k4]

Du verwechselst da was. Es gehen schon 16GB, dazu braucht du allerdings 4GB Module. Wenn du bei deinen 2GB Modulen bleiben willst, dann max 8GB. Dennoch geht mehr wie 8GB mit unbuffered Modulen, alles andere wäre ja auch ein Rückschritt. HomeuserMBs können schon seit Jahren 16GB verarbeiten.

 

[XTaZY]

Ich versteh die Problematik, nur ist in meinem Fall ab 8 GB RAM ( 4x 2 GB ) das Maximum erreicht, da ich den RAM leider schon in der Konstellation besitze ...

Ich werde es mit den 8 GB Arbeitsspeicher testen, denke dass es für meine Zwecke reichen wird ;-)

---------- Beitrag hinzugefügt um 10:49 ---------- Vorheriger Beitrag war um 09:32 ----------


EDIT:

Wäre das Intel S3420GPLX - Mainboard eine gute Alternative zu dem Tyan Toledo S5502 - Mainboard ?

Anscheinend hat das Intel S3420GPLX eine ESX-Zertifizierung erhalten:
Intel ESAA: Recipes

Was mich aber bei der ganzen Sache stuzig macht:
Intel® Server Board S3420GP — Tested operating systems

VMware ESX wurde getestet, aber es musste eine zusätzliche Netzwerkkarte verbaut werden ?!

 

[MAFRI]

dann wird der orginal verbaute nic nicht supported

 

[XTaZY]

Dann greif ich lieber zum Tyan

 

[underclocker2k4]

Daran dürftest du in dem Fall auch keinen Spaß haben.
Das Tyan benutzt 3x die NIC, die auf dem Intel drauf ist. Brauchst du auf dem Intel also ne externe NIC, dann brauchst du die auf dem Tyan auch.

Das ist generell gerade ein Problem beim ESX. Hier hält die Treiberentwicklung leider nicht mit der Hardwareentwicklung Schritt.

 

[fdsonne]

Dann geht die Onboard NIC nicht und es muss eine in ESX Lauffähige Karte verbaut werden


Zum RAM, es kommt halt drauf an, was du für VMs laufen lassen willst. Bei mir Zuhause auf dem ESXi 4 laufen 2x 2003 Server R2 Std. x86 (DC, DNS, DHCP / Management Server inkl. Sharepoint Services 3.0 und WSUS) und eine x86 2003 Server Std. R2. (SQL Server 2008 Std.)
Dazu noch eine Unix VM für die eine SSL VPN Einwahl und ne XP Testkiste.
Das macht zusammen einen Speicherverbrauch von ca. 3,5-4GB.

Je nachdem was du da nun genau laufen lassen willst, kommt man mit 8GB schon erstmal hin...

 

[XTaZY]

Probieren geht über studieren

Hab gerade ein sehr zusagendes Angebot für ein Dell Perc5i - Controller gesichtet.

 

[XTaZY]

Hab noch ne kleine Frage:

Würde ein Intel S3420GPLX - Mainboard meinen Kingston ValueRAM KVR1333D3N9/2G - RAM ( non ECC / unbuffered ) unterstützen ?

Hab leider nix in der Anleitung oder in der Kombatibilitätsliste finden können ...

 

[underclocker2k4]

Sollte klappen. Den richtigen Typ haste jeden Falls. Speicher kann aber manchma schon sehr zickig sein. Kingston ist aber einer der besseren Hersteller für sowas.

 

[XTaZY]

Also am Besten das Mainboard bestellen und einfach testen, hm ?

 

[underclocker2k4]

Das müßte echt mit dem Teufel zugehen, wenn das net klappt.
Mehr als testen kannst du net, sehe da aber, wie gesagt, kein Problem.
Hängt letztendlich aber an der CPU. Wenn du also ein anderes MB findest, wo der Speicher validiert wurde, dann geht der auch bei dem Intelboard. Der XEON hat ja den Speicherkontroller integriert.

 

[XTaZY]

Also auf dem Tyan Toledo S5502-Board wurde der Speicher validiert
Von daher müsste es eigentlich klappen ...

Beim Intel-Board ist die zweite Onboard-Netzwerkkarte ( Intel 82578DM ) nicht kompatibel zum ESX 4.0 ... Hab mir dafür ne Intel 82574L PCIe-Netzwerkkarte bestellt


PS: Bestellung ist raus

 

[XTaZY]

Hardware angekommen ...
Läuft alles ohne Probleme ...

Danke für die zahlreichen Antworten und Tipps



EDIT:
Vllt. könnt ihr mir bezüglich des RAID-Verbundes noch ein Tipp geben ... ?!


Also ich stehe kurz vor dem Aufbau eines RAID-Verbundes ...

Jetzt frag ich mich was schneller ( Übertragungsraten / Zugriffszeiten / etc. ) ist ?
Ein RAID-5-Verbund ( 1x 8 HDDs ) mit acht Festplatten oder ein RAID-50-Verbund ( 2x 4 HDDs ) mit acht Festplatten ?