Neuer ESXi Server - Neu im "Geschäft"

[FinancialCrime]

Hallo liebe Luxx Community,

ich plane momentan einen und damit meinen ersten Heimserver der wie folgt aussehen soll:

2x AMD Opteron 4170 HE, 6x 2.10GHz, Sockel-C32, boxed (OS4170OFU6DGOWOF) | Geizhals.at Deutschland
1x ASUS KCMR-D12, AMD SR5670 (dual Sockel-C32, dual PC3-10667R ECC DDR3) (90-MSVD81-G0UAY00Z) | Geizhals.at Deutschland
je 6x 8GB DDR3 ECC REG 1333 MHz
2x 4err Intel NICs (1000er)
alles andere ist vorhanden.
Funktionert das so mit ESXi?

Virtuallisiert werden soll: 2008R2, 2008, Vista und eventuell ein WHS2011

Nun habe ich meine Platten verschlüsselt (TC) und würde die gerne direkt an eins der OS durchreichen, ist das möglich?

Kann ich einzelne Ports durchreichen oder muss immer den kompletten Controller durchreichen?

Wenn ich HDDs von den Gast-Systemen verschlüssel, ist das dann genauso sicher als wenn ich ein physisches Host System oder einen physischen Client PC verschlüssel?

Wird der Netzwerktraffic zu 100% voneinander getrennt?

Kann ich USB Port #1 an VM XY und USB Port #2 an VM YX usw. durchreichen?

Wie ist der Verbrauch bei Last / Idle einzuschätzen?

Wie viele VMs (bei durchschnittlicher Last) kriege ich auf eine Western Digital Blue oder Black?

Es können max. 4 R2s , 4 R1s und je 1 Vista und WHS installiert werden, da müsste der RAM selbst bei intensiven VMs ausreichen oder?

Wenn eine VM runterfahren wird, wird dann alles aus dem RAM etc. vollständig entfernt?

Wenn ich USB Geräte an VMs durchreiche, hat der Host / andere VMs keine Möglichkeit auf das Gerät zu zugreifen?



Weitere Fragen die sich u.U. ergeben oder die mir im laufe des Abends / Tages einfallen füge ich dann hinzu.

Grüßelchen
Crime

[fdsonne]

Nun habe ich meine Platten verschlüsselt (TC) und würde die gerne direkt an eins der OS durchreichen, ist das möglich?

Kann ich einzelne Ports durchreichen oder muss immer den kompletten Controller durchreichen?

Du kannst nur ganze Controller inkl. der dort dranklemmenden HDDs/SSDs an eine VM durchreichen.

Wenn ich HDDs von den Gast-Systemen verschlüssel, ist das dann genauso sicher als wenn ich ein physisches Host System oder einen physischen Client PC verschlüssel?

Was die Daten angeht schon... Wenn du die HDD durch den Controller an eine VM reichst, ist diese genau so verschlüsselt wie bei nem Host selbst. Nutzt du hingegen die vmdk Container Files, kann unter Umständen jemand diese Files lesen. Wird in ihrem inneren aber nur Datenwust (weil verschlüsselt) finden.

Wird der Netzwerktraffic zu 100% voneinander getrennt?

Je nachdem wie du es einrichtest, ja...

Kann ich USB Port #1 an VM XY und USB Port #2 an VM YX usw. durchreichen?

Nein, du kannst nur ganze USB Controller durchreichen, ähnlich der HDD Controller... Wobei auf gängigen Boards idR mehr wie nur ein Controller vorhanden ist, sprich hier eventuel was trennbar wäre...

Wie ist der Verbrauch bei Last / Idle einzuschätzen?

Dazu brauchen wir mehr Infos... HDD Controller Typ und Anzahl. Anzahl HDDs, NT usw.
Ich sag aber mal so, idle wird sicher gute 70-100W sein bei dem Teil, je nach HDD Anzahl und weiterer Hardware. Volllast wohl 200W+

Wie viele VMs (bei durchschnittlicher Last) kriege ich auf eine Western Digital Blue oder Black?

So viele wie Platz auf der Platte ist...
Es kommt stark drauf an, was die VM selbst macht... Bei einer DB, welche exzessiv genutzt wird, schafft auch eine VM ne Platte. Wenn es nur ums rum idlen geht, schafft man wohl spielend 5-10 VMs...

Es können max. 4 R2s , 4 R1s und je 1 Vista und WHS installiert werden, da müsste der RAM selbst bei intensiven VMs ausreichen oder?

Je nachdem, was für Dienste noch in den Servern und auf den Clients tuckern, gibst du allen VMs beispielsweise 4GB RAM, so hast du immernoch rechnerisch Luft nach oben... Brauchen einzelne VMs mehr, so könnte es unter Umständen eng werden.

Wenn eine VM runterfahren wird, wird dann alles aus dem RAM etc. vollständig entfernt?

Ja...

Wenn ich USB Geräte an VMs durchreiche, hat der Host / andere VMs keine Möglichkeit auf das Gerät zu zugreifen?

richtig...


PS:
noch ne Anmerkung von mir... Du lässt dich aktuell nicht über die verwendete Storage Lösung aus. Das wäre noch gut zu wissen.
Ansonsten, ich würde hier bei der Hardware wohl eher zu ner Single Sockel G34 Lösung greifen... Da die CPU Power idR brach liegen wird. Mit möglichen 8x DDR3 Reg. ECC RAM Slots hast du dort aber auch gut Luft für genügend RAM.

[Eye-Q]

2x AMD Opteron 4170 HE, 6x 2.10GHz, Sockel-C32, boxed (OS4170OFU6DGOWOF) | Geizhals.at Deutschland
1x ASUS KCMR-D12, AMD SR5670 (dual Sockel-C32, dual PC3-10667R ECC DDR3) (90-MSVD81-G0UAY00Z) | Geizhals.at Deutschland
je 6x 8GB DDR3 ECC REG 1333 MHz
2x 4err Intel NICs (1000er)
alles andere ist vorhanden.
Funktionert das so mit ESXi?

Prinzipiell schon, aber ist das nicht etwas Overkill für den "ersten Homeserver"? Solche Maschinen stehen ja noch nicht mal produktiv bei unseren Kunden (mit einer Ausnahme)...

Nun habe ich meine Platten verschlüsselt (TC) und würde die gerne direkt an eins der OS durchreichen, ist das möglich?

Kann ich einzelne Ports durchreichen oder muss immer den kompletten Controller durchreichen?

Wenn überhaupt, dann geht nur der komplette Controller, das müssen aber alle Komponenten unterstützen, dafür gibt es eine offizielle Kompatibilitätsliste bei VMWare.

Wenn ich HDDs von den Gast-Systemen verschlüssel, ist das dann genauso sicher als wenn ich ein physisches Host System oder einen physischen Client PC verschlüssel?

Ja - die virtuellen Festplatten besitzen ja ein eigenes normales Dateisystem (in diesem Falle wohl überall NTFS), was dann verschlüsselt ist. Der Host wird da niemals die Verschlüsselung irgendwie entschlüsseln können, weil der gar nicht weiß, dass das Dateisystem innerhalb der virtuellen Festplatte verschlüsselt ist.

Wird der Netzwerktraffic zu 100% voneinander getrennt?

Jein - Traffic zwischen den Maschinen untereinander bleibt komplett auf dem Host im RAM und geht nicht über physikalische Netzwerkschnittstellen, aber nach außen ja.

Kann ich USB Port #1 an VM XY und USB Port #2 an VM YX usw. durchreichen?

Nein, geht nur pro Controller.

Wie ist der Verbrauch bei Last / Idle einzuschätzen?

Kommt drauf an, was Du mit den virtuellen Maschinen machst, aber unter 200 Watt idle würde ich nicht planen.

Wie viele VMs (bei durchschnittlicher Last) kriege ich auf eine Western Digital Blue oder Black?

Was ist für dich "durchschnittliche Last" und wie performant soll das ganze sein? Das ist alles subjektiv - dem einen reicht die Performance mit drei Maschinen auf einer Platte, dem anderen nicht.

Es können max. 4 R2s , 4 R1s und je 1 Vista und WHS installiert werden, da müsste der RAM selbst bei intensiven VMs ausreichen oder?

48 GB RAM ist schon ein großer Batzen, auch hier gilt, dass man RAM ja prinzipiell "overcommitten" kann (d.h. den virtuellen Maschinen insgesamt mehr RAM zuteilen als vorhanden ist), dann wird entweder ausgelagert oder wenn die virtuelle Maschine gar nicht alles nutzt nur der RAM belegt, den die virtuelle Maschine nutzt.

Wenn eine VM runterfahren wird, wird dann alles aus dem RAM etc. vollständig entfernt?

Aus dem RAM ja, aber was meinst Du mit "etc."? Die CPUs berechnen natürlich nichts mehr, wenn die virtuelle Maschine heruntergefahren ist, die Festplatten müssen die Daten aber behalten...

Wenn ich USB Geräte an VMs durchreiche, hat der Host / andere VMs keine Möglichkeit auf das Gerät zu zugreifen?

Richtig.

[FinancialCrime]

Du kannst nur ganze Controller inkl. der dort dranklemmenden HDDs/SSDs an eine VM durchreichen.

Also bräuchte ich 1x Controller (OnBoard) für die VMs und einen Controller (Dediziert) zum Durchreichen?

Dazu brauchen wir mehr Infos... HDD Controller Typ und Anzahl. Anzahl HDDs, NT usw.
Ich sag aber mal so, idle wird sicher gute 70-100W sein bei dem Teil, je nach HDDAnzahl und weiterer Hardware. Volllast wohl 200W+

Bei dem Controller bin ich mir nicht sicher, da bräuchte ich noch eine Empfehlung min. 8 Platten sollten anschließbar sein. NT ist ein 700W Antec. Anzahl der HDDs wären 2-3 WD Blues für die VMs und zwischen 2-4 Greens für den Rest.

noch ne Anmerkung von mir... Du lässt dich aktuell nicht über die verwendete Storage Lösung aus. Das wäre noch gut zu wissen.
Ansonsten, ich würde hier bei der Hardware wohl eher zu ner Single Sockel G34 Lösung greifen... Da die CPU Power idR brach liegen wird. Mit möglichen 8x DDR3 Reg. ECC RAM Slots hast du dort aber auch gut Luft für genügend RAM.

Bisher liegen Backups, Daten etc. pp. auf einzelnd verschlüsselten Platten. Das blöde an der Single G34 Lösung ist ganz einfach, dass eine CPU(8er) fast genauso viel kostet wie 2x 6er beim Board spare ich auch nur marginal.

Kommt drauf an, was Du mit den virtuellen Maschinen machst, aber unter 200 Watt idle würde ich nicht planen.

Bist du dir da sicher? Der Nutzer vor dir kam auf einen viel geringeren Wert. Gibt es da eventuell noch eine 2,3 oder 4 Meinung?

Was ist für dich "durchschnittliche Last" und wie performant soll das ganze sein? Das ist alles subjektiv - dem einen reicht die Performance mit drei Maschinen auf einer Platte, dem anderen nicht.

Auf den virtuellen Maschinen soll folgendes laufen:
- Exchange
- AD
- DNS
- DHCP
- WSUS
- WDS
und eventuell ein Druckerserver + RDD

48 GB RAM ist schon ein großer Batzen, auch hier gilt, dass man RAM ja prinzipiell "overcommitten" kann (d.h. den virtuellen Maschinen insgesamt mehr RAM zuteilen als vorhanden ist), dann wird entweder ausgelagert oder wenn die virtuelle Maschine gar nicht alles nutzt nur der RAM belegt, den die virtuelle Maschine nutzt.

Eigentlich sind es keine 48GB RAM sondern 96GB da ich alle RAM Slots nutzen möchte.

[Eye-Q]

Also bräuchte ich 1x Controller (OnBoard) für die VMs und einen Controller (Dediziert) zum Durchreichen?

Wenn Du wirklich einen Controller dediziert durchreichen willst, ja, aber Du kannst auch die Platten am Onboard-Controller als System- und Datenplatten gleichzeitig nehmen, das wird beim Setup standardmäßig sogar dementsprechend eingestellt.

Bei dem Controller bin ich mir nicht sicher, da bräuchte ich noch eine Empfehlung min. 8 Platten sollten anschließbar sein. NT ist ein 700W Antec. Anzahl der HDDs wären 2-3 WD Blues für die VMs und zwischen 2-4 Greens für den Rest.

Da gibt's inzwischen so viele Threads im Forum, das muss man eigentlich nicht nochmal diskutieren...

Auf den virtuellen Maschinen soll folgendes laufen:
- Exchange
- AD
- DNS
- DHCP
- WSUS
- WDS
und eventuell ein Druckerserver + RDD

Naja, die haben ja bei einer Homeserver-Umgebung so gut wie nix zu tun, die könnte man prinzipiell auch komplett von einem Windows Server 2008 R2 (oder SBS 2011) abfrühstücken lassen, außer man will eben mit der Trennung dieser Dienste spielen. Dann haben die einzelnen Maschinen aber trotzdem so gut wie nix zu tun, wenn da nicht 20+ Benutzer ständig drauf zugreifen.

Eigentlich sind es keine 48GB RAM sondern 96GB da ich alle RAM Slots nutzen möchte.

Kompletter Overkill, selbst 48 GB RAM wirst Du mit deinen Maschinen niemals ausnutzen, wenn das wirklich ein Homeserver ist.

Fang' erstmal mit 32 GB an, mehr kann man immer noch nachstecken, aber das was Du im Moment planst ist eigentlich Geldverbrennung - wenn ich mal mit 70 Euro pro Riegel rechne, sind 96 GB 840 Euro, wo 280 Euro auch vollkommen reichen.

[fdsonne]

Die Einschätzung des Verbrauchs ist halt sehr schwer... in ner ESX Umgebung wird die Kiste nie 100% idlen. Das heist, es liegt immer Teilllast an. Und das ist schwer rauszufinden.
Ich denke aber mal mit um die 100W im vollständigen idle kann man rechnen. Bei Teillast dann deutlich mehr. Volllast definitiv 200W+

Zum System, ja das ist leider so, G34 bringt dafür aber auch ein paar Sachen mit, der der C32 nicht hat. Quadchannel RAM Interface zum Beispiel. Der kleinste 8 Core Magny Cours dürfte um die 200€ kosten. Und würde vollkommen ausreichend sein. Gar völlig überdiemensioniert. Wenn man ließt, was du machst.
Normal würde gar was deutlich kleineres reichen, kleiner Quad auf Desktop Hardware bzw. nem Mainstream Desktop Sockel mit Serverboard. Leider ist dort das RAM Problem extrem bescheiden. Da dort brauchbar idR nur 16GB RAM drauf gehen.

Übrigens, was du vorhast, hab ich bei mir am laufen...
Einen SBS2011 inkl. AD, Exchange, WSUS, WDS, Sharepoint, drei SQL Instanzen usw. auf nem Pentium E5500 und 8GB RAM. Der RAM ist zwar deutlich zu klein, mit 16GB aber würde das ebenso ausreichend sein. Dann wäre gar noch etwas Luft für weitere VMs.
Ich hab bei mir noch ne 2003 R2 x64 VM mit 2008 x64 SQL Std., ne XP VM mit zwei Typo3 Testinstanzen sowie ne Unix VPN Lösung von Nortel am tuckern. CPU technisch ist die Auslastung im Schnitt über den Tag bei vllt 20%...
Die von dir angepeilte Hardware ist in meinen Augen völlig überdiemensioniert.

[FinancialCrime]

Naja, die haben ja bei einer Homeserver-Umgebung so gut wie nix zu tun, die könnte man prinzipiell auch komplett von einem Windows Server 2008 R2 (oder SBS 2011) abfrühstücken lassen, außer man will eben mit der Trennung dieser Dienste spielen. Dann haben die einzelnen Maschinen aber trotzdem so gut wie nix zu tun, wenn da nicht 20+ Benutzer ständig drauf zugreifen.

3-4 aktive Nutzer und zusätzlich halt die VMs die eingegliedert werden sollen.

Kompletter Overkill, selbst 48 GB RAM wirst Du mit deinen Maschinen niemals ausnutzen, wenn das wirklich ein Homeserver ist.

Ist wirklich ein Heimserver, was sonst? :]

Normal würde gar was deutlich kleineres reichen, kleiner Quad auf Desktop Hardware bzw. nem Mainstream Desktop Sockel mit Serverboard. Leider ist dort das RAM Problem extrem bescheiden. Da dort brauchbar idR nur 16GB RAM drauf gehen.

Hatte ich auch erst überlegt, habe hier noch einen X4 975, 2x2GB DDR2 und ein passendes Board liegen. Allerdings soll ESXi recht wählerisch sein und damit ist die Hardware wohl raus aus der engeren Auswahl ;-)

Windows Server 2008R2 bzw. die Hyper-V only Variante wäre dann vielleicht für den X4 interessant. Da ich aber mit dem Hyper-V schon längere Zeit 'spiele' würde ich schon gerne mal ESXi nutzen...

[Eye-Q]

3-4 aktive Nutzer und zusätzlich halt die VMs die eingegliedert werden sollen.

Mit anderen Worten: die Server langweilen sich in der Gegend rum - wenn die ein Mal in der Domäne mit allen Diensten laufen, werden die so gut wie nix mehr zu tun haben.

[FinancialCrime]

Wieso die meisten VMs haben doch immer etwas zu tun?! AD, WSUS, RDD / DNS / DHCP??

[underclocker2k4]

Diese Dienste haben keine Last, das macht nen 1GHz Single Core und zwar alle zusammen. RAM wird dafür auch nicht gebraucht.

Ich habe hier nen dual QC Socket F und das System rennt bei 25% mit einer RAM Last von 10GB.

Darauf laufen 25VMs wovon 90% eine Last haben, wie der DNS, DHCP und die anderen genannten Dienste. Den Großteil der Last(die 25%) machen Maschinen die zum Arbeiten genutzt werden, per RDP und Co.

Supermicro H8SGL-F, AMD SR5650 (Sockel-G34, quad PC3-10667R reg ECC DDR3) | Geizhals.at Deutschland
AMD Opteron 6128, 8x 2.00GHz, Sockel-G34, boxed (OS6128WKT8EGOWOF) | Geizhals.at Deutschland
8x Kingston ValueRAM DIMM 4GB PC3-10667U CL9 (DDR3-1333) (KVR1333D3N9/4G) | Geizhals.at Deutschland

<600EUR
(läuft so(als weiteres Systen) mit 16GB hier)
Damit hast du, was das Grundsystem betrifft, mehr als ausgesorgt @home.
Alle aktuellen Techniken sind dabei, quad chan RAM gibt auch etwas Performance.

Einzig Storage sollte man sich Gedanken machen.
Die ganzen StandardVMs ohne viel Last würde ich auf eine RAID1 setzen.
Den Rest dann auch ein 2. RAID1.
Alternativ wären SSDs zu nennen, die geben ordentlich Speed aufm Server.

Wozu du 2x quad NIC brauchst, versteh ich auch nicht.
Es können alle VMs auf das selbe Interface zugreifen und erledigen damit ihre Aufgaben.

Die einzigen VMs, die etwas Netzwerkperformance brauchen, wären der WSUS, nen Filer und bei entsprechendem Einsatz auch das AD. Aber damit hat ein richtiges ServerMB auch keinen Stress, denn da kann man das 2. onboardInterface nutzen und hat dann für diese Anwendungen nen dediziertes Interface.

Du versuchst da krampfhaft was auf die Beine zu stellen, dessen Potential du niemals nutzen wirst. Deine Config wird in der Form nur in Umgebungen eingesetzt, wo zig VMs mit ordentlich Last, wie zB TS und sowas, genutzt werden.
Dazu setzt man da aber auch entsprechende Storages ein, welche du nicht bezahlen kannst, erst dann ergibt ein solches System auch Sinn.