Mainboard/CPU (VT-D) + Raid-Controller

[trendco]

Hallo Zusammen,

ich bin gerade bei der Planung für meinen neuen Server. Es soll eine VM Umgebung werden die möglichst sparsam läuft, weiss aber noch nicht genau welche. Ich möchte mit der neuen Hardware dann erst mal folgende Varianten testen um dann zu entscheiden, was mir zusagt:

Proxmox-1.9/2.0
ESXi-5
Xenserver-6

Was soll das ganze besonderes können?
Eine der VM's ist ein Win-XP das u.a. als Fax-Server dient. Darum muss ich an diese VM eine AVM-B1-PCI für's ISDN durchreichen.
Desweiteren soll eine VM einen Linux VDR-Server abbilden, hierfür muss eine Dual-DVB-S PCIE Karte an diese VM durchgereicht werden.
Die anderen VM's sind Standard Windows/Linux und haben keine besonderen Anforderungen. Im Gesamten sollen +/- 8 VM's auf dem Server laufen, wobei da aber nix Hardcoremässiges dabei ist.
Als Speicher sollen zwei Festplatten (2 oder 3 TB Platten) im Raid-1 Verbund (Mirror) dienen, auf dem auch das VM-System selbst läuft.
Das Backup erfolgt auf externe USB-Platten und später evtl. auf ein NAS.

Laut meinen bisherigen Recherchen scheint Proxmox ganz gut aufgestellt zu sein, was die Hardwareunterstützung angeht, und auch auch Xenserver soll wohl nicht ganz so wählerisch sein (Linux eben). Problematisch scheint es aber da beim ESXi zu sein, weshalb ich jetzt auch nicht "blind" ein neues Mainboard und Hardware-Raidcontroller kaufen möchte, ohne mich davor mal umzuhören was in der Richtung empfohlen wird.

Wäre super wenn Ihr mir hierbei helfen könntet.


Gruß & Danke,

Alex

[Brokk]

Das durchreichen von PCI / e Geraeten wird schwierig bis garnicht möglich sein. Ähnlich sieht's auch bei USB Geräten aus.

Ob die kostenfreien HyperVs das können..... Ich glaube eher nicht. ?

[underclocker2k4]

Die kostenlosen können das natürlich, das ist kein Feáture was man über Lizenzen nachkauft, sondern ein Standardfeature.

Das Problem ist eher, dass sich nicht alle Geräte durchreichen lassen.

Die B1 dürfte noch gehen, bei Multimediakarten sieht das da eher bescheiden aus, da nicht alle Speicherzugriffe umgelenkt werden können.

Meine ESX Erfahrungen:
zB bekommt man NV GPUs nicht wirklich Betriebsbereit, ATIs gehen zwar, haben aber auch das ein oder andere Problem

[trendco]

Also das es prinzipiell funktioniert steht ausser Frage, nur eben nicht mit jeder Hardware/Konstellation. Beim ESXi geht das ja schon übers Interface, beim Proxmox und Xen händisch, Beispiel Proxmox: Durchgeschleift (PROXMOX & PCI Passthrough) | hevelmann

[fdsonne]

Schau auf der VMware Seite, dort findest du ne Liste aller Produkte, die der ESXi ab kann
Danach kannst du das Produkt aussuchen.
Beim Raidcontroller haben sich aber auch andere Lösungen leicht kritisch, einfach weil Linux von Haus aus schon nicht mit Hardware based Controllern so recht will. Da kann nur Windows punkten (mit dem Hyper-V, welcher auch kostenfrei ist)

Das durchreichen von Geräten geht potentiel, genaue Infos kann dir da aber wohl niemand geben. Am besten fährt man idR, wenn man USB Geräte durchreicht. Da gehts idR fast immer... Bei Steckkarten muss es nicht funktionieren.

[trendco]

Bei USB hab ich aber auch schon öfters von Problemen gehört/gelesen, man sollte dort wohl am besten dann den ganzen UBS-Anschlusss durchreichen, anstatt die einzelnen Geräte.

Ja, die Whitelist von VMWARE kenn ich schon, aber irgendwie beissen sich Server-Hardware mit Stromspar-Hardware

Es gibt ja den ein oder anderen, wie man immer wieder liest, der sowas am laufen hat mit "nicht zertifizierter Hardware". Deshalb war eben die Frage, ob jemand ein Board mit VT-D und einen Raid-Controller empfehlen könnte, die mitunter auch, wenn auch rein zufällig , mit dem ESXi-5 zusammen laufen. Wär irgendwie schade, wenn ich jetz einfach ins blaue Hardware kaufe und dann z.B. die Onboard Netzwerkkarte nicht erkannt wird, oder ich beim Raid-Controller den Status des Raids nicht überwachen lassen könnte.

[Brokk]

Der HyperV von Microsoft kann USB immer noch nicht durchreichen.

VD-T oder AMDV kommt übrigens von der CPU. Bei Consumer Boards kann dir keiner sagen welches das mit Sicherheit zulässt / durchlässt. Wenn du allerdings eins aus dem Serverbereich nimmst solltest du keine Problem damit haben.

[trendco]

Jo, das merke ich langsam aber sicher. Denn selbst die Hotline's der Hersteller können dazu nix sagen, hab's versucht bei Asus, Msi, Intel und keiner konnte mir da weiterhelfen. Selbst in den Spezifikationen auf den HP's finde ich nix dazu - ein Mystirium.

Weiss jemand zufällig, ob das VT-D Chipsatz-Abhängig ist? Ich dachte eigentlich an einen H67 oder Z68, weiss ja aber gar nicht ob die das Feature überhaupt haben/unterstützen.

[fdsonne]

Es gibt ja den ein oder anderen, wie man immer wieder liest, der sowas am laufen hat mit "nicht zertifizierter Hardware". Deshalb war eben die Frage, ob jemand ein Board mit VT-D und einen Raid-Controller empfehlen könnte, die mitunter auch, wenn auch rein zufällig , mit dem ESXi-5 zusammen laufen. Wär irgendwie schade, wenn ich jetz einfach ins blaue Hardware kaufe und dann z.B. die Onboard Netzwerkkarte nicht erkannt wird, oder ich beim Raid-Controller den Status des Raids nicht überwachen lassen könnte.

Deswegen, schau in die Liste
Dort bekommst du Infos zu den Boards und dessen Kompatibilität, auch zu den Raidcontrollern und Netzwerkkarten gibts dort Infos.

Ansonsten, der ESXi läuft eigentlich überall, sofern man ihm einen Unterstützten HDD Controller vorsetzt und ne unterstützte NIC rein packt. Im ungünstigsten Fall steckst du also ne Intel 1GBit PCIe 1x Karte nach und machst mit dem sowieso angedachten Raidcontroller das Teil ESX Ready... Kostet dich nen 20er für die NIC, der Rest weitere Rest des Systems spielt dann keine Rolle.

Ansonsten, zum USB, kommt drauf an was man machen will. Selbst ohne VT-d bietet der ESXi die Möglichkeit, USB Geräte an die VM zu reichen. (nur das Gerät)
Zumindest bei Speichergeräten funktioniert das ziemlich gut. Anderes zeugs hab ich nicht probiert. Wenn man VT-d kann, kann man auch den ganzen USB Controller durchreichen. Was dann hinten dran klemmt, ist für den ESXi uninteressant. Das sollte quasi in jedemfall gehen... -> bringt aber auch ein paar Nachteile, denn Sachen wie Snapshots oder das suspenden der Maschinen mit durchgereichten Geräten geht nicht mehr.

[trendco]

Welche Liste meinst Du, die hier: VMware Compatibility Guide: System Search ?
Da finde ich dann unter SandyBridge Boards zwei Intel Boards, das wars dann aber auch. Oder gibt es noch eine User-Whitelist, wo man sieht wer was am laufen hat?

[fdsonne]

Dann gibts nur zwei unterstützte Boards

Whitelists mit dem 5er ESXi sind im Moment soweit ich weis noch nicht sonderlich gefüllt, wenn überhaupt vorhanden.
Einfach weil der 5er ESXi gerade mal ein paar Wochen auf dem Markt ist.

[trendco]

Ok, dann muss ich mich eben wohl oder übel auf einen Test einlassen, denn wie gesagt, Server-Board != Stromspar-Board & Stromspar-Board != ESXi-Zertifiziert

Welche Hersteller sind denn im Moment angesagt? Ich hab leider schon ein paar Jahre nix mehr gebraucht in der Richtung. Früher hatte ich eigentlich Hauptsächlich immer mit ASUS-Boards hantiert, da hiess es immer, die hätten die zuverlässigste Hardware. Ob das heut noch gilt? Sollte dann am besten ein Board sein, dass eine einfache Graka mit drauf hat, 2x GigaBit onboard-Lan, USB-3 und natürlich SandyBridge (Stromspar , weiss allerdings nicht welcher Chipsatz da vorzuziehen ist, H67 / P67 / Z68?
Auf was muss ich da achten?

[fdsonne]

Wie schon angesprochen ist quasi alles außer der Raidcontroller (in deinem Fall ein dedizierter) und die Netzwerkkarten uninteressant.
Die CPU sowie das Board müssen VT-x unterstüzten (was heutige Hardware idR tut, sofern es nicht die einsteiger Modelle sind) besser noch sollten sie auch VT-d unterstüzten. Was die "K" S1155 Modelle nicht tun -> Xeon oder non K CPUs von nöten.
Am besten wählt man wohl ein H67 Board wenn möglich mit Intel OnBoard NIC. Was aber idR nicht drin ist
Ich hatte damals ein einziges P67 Board mit Intel OnBoard NIC gefunden, das war das P8P67 Evo... Und da ist nur eine NIC von zweien eine Intel. Das heist, zustecken ist wohl dennoch nötig.

[trendco]

Wie schauts mit dem aus?
ASUSTeK Computer Inc. - Motherboards- ASUS P8B WS
Das hätte 2x Intel Lan onoard
Nur über den Chipsatz C206 weiss ich leider gar nix

[Brokk]

onboard LAN macht manchmal Probleme deswegen halt dich an fdsonnes Rat und kauf eine oder mehrere dedizierte NICs (zb: Intel)

[Gr3yh0und]

Afaik kann nur das Q67 Board vom 1155er VT-D. Das benutze ich zum durchreichen meines Raidcontroller aus und es funktioniert. (2400er CPU).

Beim ASUS WS Board weiß ich es nicht, aber damals bei Release hieß es von offizieller Seite, dass es nicht unterstüzt wird... Wenn du "mehr" HW willst, musst du zu den kleinen SuperMicro 1155er Boards greifen!

Edit: Ah laut Bios Update Liste:

P8B WS Formal BIOS 0605 release.
1. Support VT-d Function.

[trendco]

Hi,

genau, das hab ich inzwischen auch rausgefunden, dass bei den Intel Desktop-Boards nur ein paar Qxx Boards VT-D können, siehe hier im Abschnitt "The following Intel® Desktop Boards support Intel VT with Directed I/O:":

Desktop Boards — Compatibility with Intel® Virtualization Technology (Intel® VT)

Weiterhin bin ich mittlerweile auch auf den Thread von User "gizz" gestossen, der ja genau sowas im Einsatz hat, was ich möchte:

Stromsparender ESXi 5 Server - VT-d - Fileserver - div.Mediadienste - Intel 82579LM

Bei dem dort verwendeten Intel Board "dq67sw" habe ich nur das Problem, dass mir genau 1x PCI Slot fehlt. Ich muss ja einerseits meine PCI-ISDN Karte stecken und hätte dann noch aus meinem jetzigen Server einen 3WARE Hardware-Raid-Controller (8006-2LP). Ich weiss zwar nicht, ob ESXi den nehmen würde, aber wenn, dann wär's wieder nix mangels Platz.

Hat mir jemand eine Kaufempfehlung bzgl. eines PCIe Hardware-Raid-Controllers? Er müsse eigentlich nur Raid-1 für meine 2 Platten können.


Alex

[GuNa]

Hi,

möchte an dieser stelle berichten das ich erfolgreich folgende Kombination mit intel VT-D im Einsatz habe:

MSI Z68A-G43 (G3) mit intel VT-D
ESXI 5
16 GB RAM
CPU: Xeon E3-1235
Intel SASUC8i Controller (IT Firmware)

Der Controller ist mit DirectpathIO an OpenIndiana durchgereicht.

Das Board kostet z.Zt unter 100 €.
Firmware ist die aktuellste. Im Bios kann Intel VT-D explizit aktiviert werde.

Soweit ich recherchiert habe können einige Boards von ASROCK und MSI Intel VT-D. Allerdings sind das alles Z68 Chipsätze.

Gruß

@Trendco
Hat 2 PCI-E Steckplätze und die CPU hat VGA. Somit können beide PCI-E Steckplätze genutzt werden. Mit anderen Controllern habe ich es noch nicht getestet.

[trendco]

Hi GuNa,

wie liegst Du denn beim Stromverbrauch im idle?

Und weisst Du zufällig, ob Dein Raid-Controller vom ESXi erkannt würde, wenn Du ihn nicht durchreichen würdest?

Was meinst Du denn mit "Allerdings sind das alles Z68 Chipsätze."?
Hat der Chipsatz Nachteile?


Alex

[GuNa]

Hi Alex,

Der Stromverbrauch liegt bei ca. 90 Watt (idle) bei Last lag ich bei 143 Watt. Allerdings habe ich auch noch 8 Festplatten dran (6 Hitachi, 2 Samsung und 1 SSD).
Der Controller wird als LSI Logic /Symbios Logic LSI1068E erkannt.
Muss dazu noch anmerken das diese Controller von mir geflasht wurde. Dh. Standard kommt er mit der Raid Funktionalität. Wegen OpenIndiana/ZFS habe ich den auf IT geflasht - heißt ich reich die Platten direct an das OS weiter.
Den Controller habe ich für ca 150 Euro gekauft.

Mit Z68 meine ich das, soweit mir bekannt ist, die P68 scheinbar nicht unterstützt werden. Es gibt einige Boardhersteller die wohl nur für den Z68 die VT-D Funktion im Bios unterstützen (und das auch nicht bei allen Boards -also vorsicht). Der Z68 ist ja der High-End Chipsatz der Serie also keine Nachteile. Habe mich etwas missverständlich ausgedrückt.

Gruß
GuNa

---------- Beitrag hinzugefügt um 20:56 ---------- Vorheriger Beitrag war um 20:52 ----------

hier noch ein interessanter Link:
Z68 Sandybridge Motherboard VT-d Test Matrix: Which Mobo/CPU combo works with VMware ESXi 4.1U1 VMDirectPath feature? | Tinkertry

---------- Beitrag hinzugefügt um 21:01 ---------- Vorheriger Beitrag war um 20:52 ----------

Nur zum Vergleich:

Mein AMD 1055T+M4A89TD PRO/USB3+Adaptec 5405+4x1 TB Platten Proxmox Server braucht im Idle ca 180 Watt. Dagegen ist der Intel ein Traum :-)

[trendco]

Das mit dem OpenIndiana habe ich jetzt schon paar mal gelesen.

Könnte ich hierfür aber nicht auch FreeNAS benutzen? Das kann angeblich seit 0.8 ebenfalls ZFS, die VM könnte dann gleich noch die Fileserver-Rolle mit übernehmen?
Ausserdem wird soweit irgendwo gelesen habe, sogar iSCSI damit unterstützt.
Sollte das so gehen, dann bräuchte ich ja nicht mal nen sep. Controller. Man könnte den ESXi zusammen mit FreeNAS auf einen Stick packen, den SATA-Controller mit den beiden Festplatten an die FreeNAS-VM durchreichen, von dort aus übers Web-Interface eine SW-Raid-1 estellen, einen Teil davon als File-Server einrichten und den Rest für andere VM's dem ESXi über NFS bereitstellen.

Puhh...macht so ein KuttelMuttel überhaupt Sinn?

[Brokk]

Beides gleichzeitig geht nicht !

[trendco]

Wie beides gelichzeitig??

Ich habe doch geschrieben "Könnte ich hierfür aber nicht auch FreeNAS benutzen?"

[Brokk]

Irgendwie hab ich daraus gelesen das du den esx und das FreeNAS auf einem usbstick und derselben Hardware laufen lassen willst?

Selbst wenn du einen esx installierst und darauf ein virtuelles FreeNAS aufsetzt, macht es keinen Sinn. FreeNAS bzw ZFS will die Platten direkt angeschlossen haben. Zudem brauchst du beim esx wieder einen dedizierten Controller (teuer)onboard mag der uberhaubt nicht.

[fdsonne]

Irgendwie hab ich daraus gelesen das du den esx und das FreeNAS auf einem usbstick und derselben Hardware laufen lassen willst?

Selbst wenn du einen esx installierst und darauf ein virtuelles FreeNAS aufsetzt, macht es keinen Sinn. FreeNAS bzw ZFS will die Platten direkt angeschlossen haben. Zudem brauchst du beim esx wieder einen dedizierten Controller (teuer)onboard mag der uberhaubt nicht.

Ne... Er schrieb doch den Controller durchreichen
Wenn das System VT-d (Intel) bzw. IOMMU (AMD) unterstüzt, lässt sich idR der OnBoard Controller durchreichen und den Datenpool von FreeNAS dort drauf ablegen. (inkl. Raid Funktionen im FreeNAS oder möglichen ZFS Eigenheiten)

Es gibt nur einen Nachteil... Man kann so ohne weiteres auf einem USB Stick keine Datastores anlegen
Und genau das würde es brauchen um FreeNAS als VM dort mit abzulegen...
Ich halte es nicht für unmöglich, weil es eigentlich keinen Grund gibt, warum das nicht gehen sollte... Per default gehts aber halt nicht.
In dem Fall brauch es also einem Controller, mit HDD/SSD oder was auch immer, wo die FreeNAS VM drauf kann und nem weiteren Controller (muss zwingend ein anderer sein) welchen man durchreichen kann.
Theoretisch tuts dafür aber ein 25€ günstig 2xSATA Controller für PCI. Liegt ja nur die FreeNAS VM drauf und lese/schreib Zugriffe auf dem Datenpool sind quasi nicht vorhanden.