Wir bauen uns einen ESX

[underclocker2k4]

Die c20x Chipsätze für den S1155 brauchen ECC nonReg RAM.

Was anders läuft da leider nicht. Mit 30EUR/4GB Riegel gehen die Preise doch.

[Belatis]

Habe irgendwas um 150 im Gedächtnis aber kann mich gut täuschen, musst mal schauen...
Aber wenn man den Key kauft rechnet sich der M1015 nicht mehr. Da würde ich mich dann nach anderen Controllern umschauen

.... oder du schaust dir ZFS an, benutzt RaidZ2 und lachst über Hardware-RAID

Jo. Ja will nicht reines ZFS fahren . Das kommt später mal. Oder ich lagere die VM's darauf aus. aber macht keinen Sinn. Wäre zu viel des guten für meine Verhältnisse. Wäre für jeden Vorschlag eines empfehlenswerten RAID-Controllers mit RAID5 Unterstützung um die 150-200€. Wobei man in der Preisklasse wohl von einem Neukauf nicht viel erwarten darf.

[layerbreak]

Hmm mist, unterstützt das Supermicro X9SCM Board ausschließlich nur ECC RAM oder passt da auch "billiger" rein?

ECC ist immer zu bevorzugen und so viel teurer sind die auch nicht. 5-10 Euro vielleicht.

Jo. Ja will nicht reines ZFS fahren . Das kommt später mal. Oder ich lagere die VM's darauf aus. aber macht keinen Sinn. Wäre zu viel des guten für meine Verhältnisse. Wäre für jeden Vorschlag eines empfehlenswerten RAID-Controllers mit RAID5 Unterstützung um die 150-200€. Wobei man in der Preisklasse wohl von einem Neukauf nicht viel erwarten darf.

Was @hotzen sicherlich meinte ist, du sparst dir das teure Geld für echte Raid-Karten und nimmst besser eine HBA-Karte, wie die Erwähnte oder z.B. auch LSISAS9211-8i und flasht diese HBA in IT-Mode.

Jetzt installierst du dir ESXi auf eine kleine Platte und legst dort eine einzige VM mit ZFS (OpenIndiana) an.
Jetzt reichst du die HBA in ESXi per passthrough an OI durch.



Roter Pfeil:
Zu beachten ist, dass im Chipsatz 3400 ein PCIe-Switch dabei ist. Dieser kann nicht für VMDirectPath genutzt werden.

Bei meinem Server sind es 2 HBAs und somit 16 Festplatten.
Jetzt baust du dir mit OI einen Pool aus den Festplatten (mirror, Raid-Z1 ,Z2, Z3)
z.B. mirror 2x8 2TB-HDD = 8 TB, 3 x raid-z1 a' 5 2TB-HDD = 24 TB oder 2 x raid-z2 a' 7 2TB-HDD = 20 TB. Immer noch nicht genug, dann pack mehr Platten rein, erweitere deinen pool und gut ist es. und legst ein nfs-Dateisystem an.
Dieses stellst du dann ESXi zur Verfügung.
2 TB Grenze gibt es nicht.
.

Alle weitere VMs legst du mit ESXi an und speicherst Diese auf deinem nfs-Dateisystem.
Snapshots machst du mit OI, nicht mit ESXi (dauert ewig und wird immer langsamer).

Netzwerkkarte, zumindest bei ESXi 4.1 geht soweit ich weis nur Intel.

[underclocker2k4]

ECC ist immer zu bevorzugen und so viel teurer sind die auch nicht. 5-10 Euro vielleicht.

ECC ist bei dem Chipsatz nicht zu bevorzugen, sondern zwingend notwendig. Man muß also zu den (minimal) teureren RAMs greifen.

[planra]

Hi,

da ich mir auch gerade einen ESXi zum "Spielen" aufbaue, klinke ich mich mal mit ein.

Jetzt installierst du dir ESXi auf eine kleine Platte und legst dort eine einzige VM mit ZFS (OpenIndiana) an.
Jetzt reichst du die HBA in ESXi per passthrough an OI durch.

...

Dieses stellst du dann ESXi zur Verfügung.
2 TB Grenze gibt es nicht.

Alle weitere VMs legst du mit ESXi an und speicherst Diese auf deinem nfs-Dateisystem.
Snapshots machst du mit OI, nicht mit ESXi (dauert ewig und wird immer langsamer).

Verstehe ich das richtig, dass dann eine VM auf dem ESXi den Speicherpool für die weiteren VMs des ESXi verwaltet!? Könnte ich also einen Windows Storage Server auf dem ESXi installieren, meinen RAID-Controller an diesen durchreichen, und dann den weiteren Speicher für den ESXi über den WSS zur Verfügung stellen?

Ich weiß, Windows ist eigentlich nicht die beste Variante dafür, geht aber nicht anders...

[underclocker2k4]

Du mußt mit dem Windows Server dann ein NFS oder iSCSI aufziehen.

Das ist dann so, als wenn du einen separaten Server im Netzwerk hast, nur dass dieser eben auf dem ESX läuft.

[planra]

Du mußt mit dem Windows Server dann ein NFS oder iSCSI aufziehen.

Das ist dann so, als wenn du einen separaten Server im Netzwerk hast, nur dass dieser eben auf dem ESX läuft.

Ich dachte da an iSCSI. Aber gedanklich kriege ich das nicht ganz geregelt. Zickt der ESXi dann nicht rum? Schliesslich steht der Speicher ja erst dann zur Verfügung, wenn der WSS, der ja vom ESXi gehostet wird, vollständig gestartet ist, oder nicht?

[fdsonne]

Ich dachte da an iSCSI. Aber gedanklich kriege ich das nicht ganz geregelt. Zickt der ESXi dann nicht rum? Schliesslich steht der Speicher ja erst dann zur Verfügung, wenn der WSS, der ja vom ESXi gehostet wird, vollständig gestartet ist, oder nicht?

genau so ist es...
Das sollte aber keine Rolle spielen. Die Volumes werden automatisch angehangen, wenn die VM gestartet ist und der Dienst läuft.
Eventuel tauchen Fehlermeldungen im Eventlog auf, aber das geht nunmal nicht anders

[planra]

Das ist ja genial. Dann kann ich mir ja einen 2. Raid-Controller sparen:-).

Danke für die Antorten!!!

[fdsonne]

Neja was heist sparen. Das Problem ist und bleibt einfach die Durchreichung. Du kannst nur einzelne Controller durchreichen.
Das heist, die VM die das Storage System selbst hostet, muss speichertechnisch intern auf einem eigenen Storage liegen. Und in ihr ist dann der Controller gemappt.
Reißt es dir aber das interne Storage weg, wo die Storage VM liegt, steht auch die ganze Kiste

Ich suche nach wie vor nach ner Möglichkeit, Datastores auf USB Sticks anlegen zu können, defaultmäßig geht das nicht. Windows ist zwar dafür etwas ungeeignet, aber ein Linux kann man wunderhübsch so umbiegen, das quasi die HDD Zugriffe Systemseitig so minimal sind, das ein USB Stick wohl über Jahre wenn nicht ganz Jahrzente seinen Dienst tun würde... -> nur im Moment geht das nicht
Bei mir Zuhause bastel ich da halt grad dran... Falls das nicht gehen sollte, wäre ne Methode zwei auf ne CF Card oder SD-Card ebenso machbar. -> Vorteil dabei ist, das es SATA/IDE auf SD/CF Card Adapter gibt und sich das Medium in dem Fall als dedizierte Harddisk meldet und somit als Datastore fungieren kann.

[planra]

Neja was heist sparen. Das Problem ist und bleibt einfach die Durchreichung. Du kannst nur einzelne Controller durchreichen.
Das heist, die VM die das Storage System selbst hostet, muss speichertechnisch intern auf einem eigenen Storage liegen. Und in ihr ist dann der Controller gemappt.
Reißt es dir aber das interne Storage weg, wo die Storage VM liegt, steht auch die ganze Kiste

Das ist klar, dass die Kiste komplett steht, wenn der interne Storage weg ist. Wäre aber genauso, wenn man alle VMs dort liegen hätte. Ist insofern kein Nachteil. Ich bin nur mal gespannt wie sich das ganze von der Perfomance verhält.

Was ist der hintergrund einer VM auf einem USB Stick? Brauchst Du die VM regelmässig an verschiedenen Orten?

[underclocker2k4]

Was Sonne sagen will ist, dass du 2 Controller im Rechner brauchst.

1x für den ESX selber (zB onboard)
1x für die HDDs des Storageservers, also ein zusätzlicher Controller deiner Wahl

Du sparst also nur teure RAID-Controller. (nicht aber einen 2. Controller)
(SW-RAID unter Windows würde ich auch nicht einsetzen)

[fdsonne]

richtig, und wenn man die Storage VM noch auf einem Raidarray packen will, muss der eine zumindest ein dedizierter Controller sein, den der ESX inkl. Raid unterstützt.

Der Vorteil der USB Stick Version ist, das es halt quasi unkaputtbar ist, wenn man Schreibzugriffe auf den Stick minimiert. -> so zumindest meine überlegung. SSDs würden sicher auch gehen, aber die kommen wieder mit SATA, was dann wieder zwei Controller benötigt.

[planra]

Das ist schon klar. Aber den Onboard habe ich ja sowieso. Der ist dann für den ESXi und die "erste" VM. Und den Controller kann ich, mit den jetzt schon vorhandenen Daten, komplett durchreichen. Ist doch perfekt:-).

[fdsonne]

Jein
Knallt dir die Single HDD am OnBoard Controller weg, steht die ganze Kiste

[layerbreak]

ECC ist bei dem Chipsatz nicht zu bevorzugen, sondern zwingend notwendig. Man muß also zu den (minimal) teureren RAMs greifen.

Was ich damit sagen wollte, ist, dass ECC RAM immer zu bevorzugen sind, denn einen RAM Fehler merkt man meist erst viel später und meistens zu spät.

Hi,

Verstehe ich das richtig, dass dann eine VM auf dem ESXi den Speicherpool für die weiteren VMs des ESXi verwaltet!? Könnte ich also einen Windows Storage Server auf dem ESXi installieren, meinen RAID-Controller an diesen durchreichen, und dann den weiteren Speicher für den ESXi über den WSS zur Verfügung stellen?

Ich weiß, Windows ist eigentlich nicht die beste Variante dafür, geht aber nicht anders...

Das schöne an meinem Vorschlag ist ja, dass du eben keinen teuren Raid-Controller brauchst, sondern nur einen HBA. Die "Verwaltung" übernimmt dann ZFS und das kann das IMHO zick mal besser als Windows Storage Server bzw. Raid.

Ich dachte da an iSCSI. Aber gedanklich kriege ich das nicht ganz geregelt. Zickt der ESXi dann nicht rum? Schliesslich steht der Speicher ja erst dann zur Verfügung, wenn der WSS, der ja vom ESXi gehostet wird, vollständig gestartet ist, oder nicht?

Ich habe bei mir ESXi ganz normal auf HDD, aber gespiegelt, installiert. Bei ESXi 4.1 geht keine Mirror-Installation - wie es bei ESXi 5 aussieht weis ich nicht. Aber keine Raid-Karte, kein Onboard-Raid, sondern dies hier
Und nur eine VM OpenIndiana ist darauf installiert. Diese wird vom ESXi als Erste gestartet und erst wenn die VMWareTools in OI gestartet sind dann startet ESXi die folgenden VMs.
Da kommt es zu keinen Fehlermeldungen.

[planra]

Das schöne an meinem Vorschlag ist ja, dass du eben keinen teuren Raid-Controller brauchst, sondern nur einen HBA. Die "Verwaltung" übernimmt dann ZFS und das kann das IMHO zick mal besser als Windows Storage Server bzw. Raid.

Den Raid-Controller habe ich ja schon. Den HBA müsst ich noch kaufen, scheidet also aus.

Dass es ein Windows Storage Server werden "muss" hat rein praktische Hintergründe. Im Moment läuft ein Windows Home Server mit dem Controller als Medien-Server. Lights out setze ich zum Strom sparen ein. Das klappt mit der Virtualisierung natürlich nicht mehr, da es mir nichts nutzt, wenn der WHS ausgeht. Da mir an Lights out und auch an der Kommunikation zwischen dem WHS und den Clients sowieso einiges nicht gefällt, werde ich diese Sachen (Transfer der Aufnahmen zum Server, Stoppen der VMs, Herunterfahren des ESXi, usw) selber entwickeln. Da ich beruflich zu 100% in der Windowswelt unterwegs bin, ist das halt der einfachste Weg.

[therealJMC]

Auch wenns jetzt gerade nicht aktuell ist wollt ich es hier im Sticky mal hinterlassen (mehrfach getestet von 4.0 bis 5.0)

Creating RDMs on SATA drives

Damit kann man sich auch einen 2. RAID Controller sparen wenn man lediglich eine große Partition/Platte/Pool durchreichen will ohne direkt den ganzen Controller durchzureichen. Hab so meinen zweiten LSI Raid Controller der vorher durchgereicht war einsparen können im Server, läuft mittlerweile alles nur noch über den einen Controller (1 * 4TB und 1 * 2TB RAID sind per RDM durchgereicht) und das ohne Probleme.

[antilope114]

Jein
Knallt dir die Single HDD am OnBoard Controller weg, steht die ganze Kiste

Entweder den onboard controller für Raid nutzen oder sowas hier benutzen RaidSonic Icy Box iR2420-2S-S2B, SATA II Wechselrahmen (12140) | Geizhals Deutschland.

[ecsil]

Der Thread hier wird nichts mehr oder? Oder gibt es irgendwie Statusupdate?

[fdsonne]

Im Moment fehlt mir und wohl auch underclocker etwas die Zeit das weiter auszuarbeiten. Gewisse Themengebiete sind schon erschlossen...
Wird also noch etwas dauern

[AliManali]

hi

Mein ESXi:

IMG_6348.jpg

VT-d sollte auch klappen, hab jetzt Stepping C2 vom 3930k.

Intel E1G44HT Quad Port Gigabit Adapter, 32 GByte RAM (leider kein ECC), 5TByte mit onboard Controller, ESXi auf USB Stick

• Win 2k3 32 Bit
• Win 2k3 64 Bit
• 2 * Win XP 32 Bit
• Endian 2.5.1
• Windows 7 64 Bit Ultimate
• Windows 8 Consumer Preview

macht seit Dezember viel fun und Arbeit.

[sandreas]

Hallo zusammen,

ich führe gerade eine Mini-Machbarkeitsstudie (falls man das so nennen mag) durch, die sich auf einen kleinen Home-Server bezieht, den ich mir anschaffen möchte.

Ist Zustand:
- Stromspar PC mit pfSense (24/7) => Internet-Gateway, DHCP und DNS-Server
- Stromspar PC mit Ubuntu (24/7) => Web-Server
- Stromspar PC mit FreeNAS und RAID-Z1 (3-Platten, Start bei Bedarf) => File-Server, Datenschleuder

Soll Zustand:
- ESXi mit RAID, alternativ auf USB-Stick und Storage über eine VM verwalten
- Eine VM als Internet-Gateway, DHCP und DNS-Server
- Eine VM als Web-Server
- Eine VM als NAS, Start bei Bedarf
- Weitere Test-VMs, um Dinge auszuprobieren

Grund-Idee:
Ich möchte ein System haben, bei dem alles in einem ist. Prinzipiell müsste ich mir ein Mainboard mit zwei Ethernet-Schnittstellen anschaffen. Eine fürs Internet bzw. DSL-Einwahl und die andere zum Anschluss an eine WLAN-Bridge, um meine Notebooks mit WLAN-Internet zu versorgen. Wichtig ist mir auch, dass ich den Storage unkompliziert erweitern kann, allerdings nicht durch das Hinzufügen von weiteren Platten, sondern den Austausch von allen 3 Platten durch größere. Das RAID-Z1 würde ich daher gerne so fortführen, da auf dem NAS nicht wirklich wichtige Daten liegen und ich gerne ein gutes Verhältnis zwischen Speicher und Kosten beibehalten möchte. Den Austausch der Platten ohne Datenverlust durch größere würde ich über ZFS ermöglichen (nicht mit FreeNAS, sondern eventuell mit napp-it und Open Solaris)

Voraussetzungen:
- Möglichst Low-Budget
- Möglichst klein
- Möglichst leise
- Möglichst stromsparend

Fragen:
- Gibt es ein Server-Board mit Sockel 1155 mit 2xGigabit-LAN und einem OnBoard-Raid-Controller, der von ESXi unterstützt wird? Alternativ ein SoHo-Mainboard, was diese Daten hat?
- Ist das mit den 2 Netzwerkschnittstellen am Mainboard so machbar (DSL-Router, Web-Server und NAS in einem)?
- Kann man die zweite Netzwerkschnittstelle eventuell über USB oder eine günstige PCI-Karte nachrüsten?
- Soll ich das RAID eher auf ESXi Ebene realisieren, lieber über eine VM verwalten oder eine Mischlösung (RAID für Router und Webserver Systemplatten, Speicher über iSCSI im NAS)?
- Kann ich die Platten für das NAS physikalisch durchschleifen, um ein RAID-Z1 zu realisieren und gleichzeitig ein RAID1 für die ausfallsicheren Systeme (Internet-Gateway, Webserver) schaffen?
- Welche Hardware wäre für mein Vorhaben generell empfehlenswert?

Junge, junge, ist nun wesentlich mehr geworden, als ich eigentlich wollte, ich hoffe, mir kann jemand helfen.

[Steggi]

- Gibt es ein Server-Board mit Sockel 1155 mit 2xGigabit-LAN und einem OnBoard-Raid-Controller, der von ESXi unterstützt wird?
- Soll ich das RAID eher auf ESXi Ebene realisieren, lieber über eine VM verwalten oder eine Mischlösung (RAID für Router und Webserver Systemplatten, Speicher über iSCSI im NAS)?

Server Boards mit 2xGbit bits einige, aber bei dem Raidcontroller schau mal am besten in die HCL von VMware.
Notfalls leg dir ne Storage VM an, reich den Onboardcontroller durch und leg dir da ein NFS Share oder iSCSI Target an und nutze das als Datastore für die VMs. Den ESXi packst du dann einfach auf nen USB Stick.

- Gibt es ein Server-Board mit Sockel 1155 mit 2xGigabit-LAN und einem OnBoard-Raid-Controller, der von ESXi unterstützt wird?

Das sollte so machbar sein. Die beiden NICs stellen ja nur die Verbindung des ESXi's zur Außenwelt her und und hängen intern an nem vSwitch mit den vNICs der VMs

- Kann man die zweite Netzwerkschnittstelle eventuell über USB oder eine günstige PCI-Karte nachrüsten?

Über USB wohl eher nicht, aber kompatible NICs (z.B die Intel Pro 1000) kannst du einfach via PCIe nachrüsten. Schau für eine passende NIC einfach nochmal in die HCL.

- Kann ich die Platten für das NAS physikalisch durchschleifen, um ein RAID-Z1 zu realisieren und gleichzeitig ein RAID1 für die ausfallsicheren Systeme (Internet-Gateway, Webserver) schaffen?

Mit VT-D kannst du einen Controller an eine VM durchreichen. Allerdings ist dieser dann für den ESX nicht mehr sichtbar. Einzelne Platten könntest du auch via RDM durchreichen, wobei die VT-D Lösung zu bevorzugen ist, da die VM so auch direkten Zugriff auf den Controller hat.

- Welche Hardware wäre für mein Vorhaben generell empfehlenswert?

Das kommt auf die benötigte Leistung an. Mit einem aktuellen 1155er Board mit nem kleinen Xeon E3 (v2) wirst du sicher nichts falsch machen und im Energieverbrauch sind die aktuellen Boards und CPUs auch recht genügsam

[therealJMC]

Server Boards mit 2xGbit bits einige, aber bei dem Raidcontroller schau mal am besten in die HCL von VMware.
Notfalls leg dir ne Storage VM an, reich den Onboardcontroller durch und leg dir da ein NFS Share oder iSCSI Target an und nutze das als Datastore für die VMs. Den ESXi packst du dann einfach auf nen USB Stick.

Das wird aber nix - der USB Stick ist kein Storage für die VM Config - dafür wird ein Datastore benötigt. Und der liegt dann entweder auf dem Onboard Controller oder auf nem extra Controller. Jedenfalls gibts nix ohne extra Controller mit durchreichen.

ESXi und Stromsparen passt nicht so ganz zusammen - er kann es einfach nicht wirklich. Selbst beim N36L/N40L mit gleicher Hardware liegen teilweise 10W dazwischen (was da schon 1/3 oder 1/4 der Gesamt-Watt ist).

Ich hab zwar auch noch einen ESXi - hab aber mein "Hauptserver" zuhause is jetzt wieder auf 2008R2 umgezogen mit Hyper-V. Auch wenn das hier zwar der "Wir bauen uns einen ESXi" Thread ist - ich glaube nicht wirklich, dass dein Vorhaben mit nem ESXi zur vollsten Zufriedenheit gelöst wird. Wenns alles Linux VMs sind dann virtualisier doch darauf?

Ich duck mich schonmal...