Aktuelles

Hardware für KVM

LuxxRookie

Experte
Thread Starter
Mitglied seit
13.08.2011
Beiträge
512
Ort
Elmshorn
Hay liebe Com,

da ich in meiner Ausbildung viel mit KVM zutun haben werde, wollte ich mich vorab schon mal damit auseinander setzen. Da keine Hardware für KVM vorhanden ist, wollte ich mir da was zulegen.

Da Intel mir da etwas zuteuer ist, dachte ich an eine AMD Plattform. Allerdings weiß ich nicht was es bei AMD für PCI-Passthrough an Features nötig ist.
Bei Intel weiß ich das Mainboard und CPU VT-d unterstützen müssen. Bei AMD konnte ich bis dato keine eindeutigen Informationen herausfinden. Daher frage ich hier einmal lieber vorher.

Dann stellt sich mir die Frage der Dimensionen die an Leistung gebraucht werden?
Darauf laufen sollen Debian als Host, OpenIndiana (als Gast (Wegen ZFS)) und evtl. bis zu drei weitere Gäste (Linux / Windows gemischt denke ich)

RAM denke ich ist klar, 16 GB ist pflicht (schon wegen ZFS).
PCI Passthrough möchte ich deswegen, weil ich später OI als Storage Server nutzen will und deswegen entsprechende Controllerkarten durchreichen möchte.

Ich hoffe ich habe keine Informationen vergessen.

Über ein paar hilfreiche Posts zum Thema würde ich mich freuen

Mit freundlichen Grüßen

LuxxRookie
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.

vanquish

Enthusiast
Mitglied seit
10.01.2008
Beiträge
23
Hallo,

damit dier hier geholfen werden kann wäre es zunächst einmal wichtig zu erfahren in welchem Preisbereich wir uns bewegen.

Zu PCI-Passthrough kann ich etwas beitragen:

1. Offiziell unterstützt wird dieses Feature durch die AMD-"Consumer"-Chipsets 890FX, 970, 990X und 990FX.

2. Wenn wir von Consumer Boards sprechen:
Neben der CPU, welche AMD-V-Unterstützung bieten muss (ist bei fast allen AMD CPUs der Fall), muss das Mainboard-Bios eine Option für die Aktivierung dieses Features (IOMMU) bieten (Handbuch des Herstellers konsultieren). Bei ASUS ist das bei fast allen Boards der 9xx-Chipsatzreihe der Fall. Konkret z. B. das ASUS M5A99X Evo, das ich selbst besitze. Allerdings weiß ich nicht inwieweit dieses Board den Anforderungen einer KVM-Umgebung gerecht wird. Da würde ich dann vielleicht doch eher auf Server-Mainboards setzen. Größere Preisunterschiede zwischen den Plattformen würde ich hier allerdings nicht erwarten. Hier kann ich auch keine Auskünfte über die Features der Chipsets geben.
 

underclocker2k4

Mr. Alzheimer
Mitglied seit
01.11.2004
Beiträge
20.505
Ort
Bärlin
Bei AMD müssen die MB, sprich Chipsatz und BIOS IOMMU unterstützen, aber das ist im Consumerbereich nicht so einfach.

Beim 890FX gab es ein paar MBs, die das konnten, beim 990FX ist diese Anzahl noch viel geringer. Das GB 990FX UD7 soll das können, ich selber kanns nicht bestätigen aber ich weiß von einem, der hat(te) das am Laufen.

Sicherer siehts da im AMD Serverbereich aus, da braucht ma nix beachten, das geht eigentlich so.

@vanquish

Das du das IOMMU auch mal wirklich getestet?

Ich hatte ein paar MBs hier, diese hatten zwar das IOMMU Feature, jedoch ging es zumindest unterm ESXi nicht zu nutzen. Was mich auch verwundert ist die Tatsache, dass dort 64MB als Größe angegeben ist, das kenne ich aus der Serverwelt so nicht.

Konkret fällt mir das das Crosshair V Formula ein, das hatte auch IOMMU Option und trotzdem ging nix.

Also teste das mal bitte aus, nur die BIOS Option bringt da herzlich wenig.
 
Zuletzt bearbeitet:

LuxxRookie

Experte
Thread Starter
Mitglied seit
13.08.2011
Beiträge
512
Ort
Elmshorn
Also beim Preis wäre bis 400 Euro für Mainboard und Cpu denke ich noch im Bereich des Möglichen für mich (Eben nur Azubi-Level^^). Aber natürlich sollte es so wenig wie möglich kosten, da eben nur begrenzte finanzielle Möglichkeiten
ECC, Hochverfügbarkeit und sowas ist jetzt nicht so wichtig. Geht halt mehr darum nachher Fileserver und andere Dienste damit betreiben zu können und nebenbei noch 3-4 Vms laufen lassen zu können zum testen von Funktionen etc.
 
Zuletzt bearbeitet:

ulukay

Banned
Mitglied seit
19.07.2006
Beiträge
8.424
also bei mir kann ich im virt-manager tod und teufel durchschleusen. nur leider hab ich kein geraet in der auswahl welches nicht schon benutzt wird. deshalb kann ichs jetzt auf die schnelle nicht testen.
GA-990FXA-UD5 + AMD FX(tm)-8150

wenns wirklich wichtig ist, kann ich morgen oder Sonntag mal meine Infiniband Karte im HostOS disablen und im KVM durchschleusen versuchen.
 
Zuletzt bearbeitet:

LuxxRookie

Experte
Thread Starter
Mitglied seit
13.08.2011
Beiträge
512
Ort
Elmshorn
@ ulukay
Also dringt ist es nicht, da vor ende Februar eh nichts gekauft werden kann. Aber wenn du es einrichten könntest, wäre ich dir sehr verbunden wenn du es mal antesten könntest wie gut es funktioniert.

Gruß
LuxxRookie
 

vanquish

Enthusiast
Mitglied seit
10.01.2008
Beiträge
23
@vanquish

Das du das IOMMU auch mal wirklich getestet?

Ich hatte ein paar MBs hier, diese hatten zwar das IOMMU Feature, jedoch ging es zumindest unterm ESXi nicht zu nutzen. Was mich auch verwundert ist die Tatsache, dass dort 64MB als Größe angegeben ist, das kenne ich aus der Serverwelt so nicht.

Konkret fällt mir das das Crosshair V Formula ein, das hatte auch IOMMU Option und trotzdem ging nix.

Also teste das mal bitte aus, nur die BIOS Option bringt da herzlich wenig.

Nein, getestet habe ich das leider noch nicht. Ich habe das Board aber vor einiger Zeit im Hinblick auf dieses Feature erworben. Gleichwohl war mir damals schon klar, dass allein die Option nichts aussagt. Es kommt hier auf die Implementierung seitens des Herstellers an. KVM und XEN sollten aber funktionieren. ESXi/vSphere arbeitet wohl nicht immer einwandfrei. So meine damalige Recherche.

Auf die schnelle habe ich aus meinem Verlauf zum Thema folgendes wieder gefunden (Vielleicht reiche ich bei Gelegenheit noch ein paar Links nach.):

ASUSTeK Computer Inc.-Forum- AMD-Vi (IOMMU)
IOMMU and VSphere 5 - [H]ard|Forum
http://www.google.com/url?sa=t&rct=...o7WzDg&usg=AFQjCNFiXhBM1pD2f4dSx60fSu4pDdiiCw
GA-890FXA-UD5 IOMMU BIOS Switch? - Page 14
Ubiquitous Talk » Encapsulating VT-d Accelerated ZFS Storage within ESXi
Do MSI intend to implement BIOS support for IOMMU in its 890FXA-GD70 ??
Whiteboxing part 1: Deciding on your ultimate ESX Whitebox
How to assign devices with VT-d in KVM - KVM
ESX / ESXi 4.0 Whitebox HCL
Ultimate VMWare ESX Whitebox | Hardware: Motherboards

IMO traue ich hier ASUS eher über den Weg als anderen Herstellern. Das ist aber eher subjektiv. Ausschlaggebend für mich war der letzte Link, mit der langen Liste von ASUS Boards. Sind zwar alles die Vorgängermodelle und nicht jedes 100%-ig unterstützt ... aber immerhin.

Testen kann ich das erst in drei, vier Wochen. Wenn ich meinen Server platt mache. Wollte hier zwar eher auf KVM setzen aber einen ESXi/vSphere kann ich bei der Gelegenheit sicherlich auch mal testen.
 

underclocker2k4

Mr. Alzheimer
Mitglied seit
01.11.2004
Beiträge
20.505
Ort
Bärlin
Mit dem IVer Formula geht es, mit ein paar alten 890FX Asrocks gab es auch welche, aber beim neuen Formula habe ich es nicht geschaft, habe da aber auch nicht nicht so viel Power reingesteckt.
 

DarkDeveloper

Enthusiast
Mitglied seit
23.04.2010
Beiträge
119
Ich hatte ein paar MBs hier, diese hatten zwar das IOMMU Feature, jedoch ging es zumindest unterm ESXi nicht zu nutzen. Was mich auch verwundert ist die Tatsache, dass dort 64MB als Größe angegeben ist, das kenne ich aus der Serverwelt so nicht.

Das Problem daran ist, dass IOMMU nicht gleich IOMMU ist. Wenn du im BIOS eine Größenangabe hast, ist wohl damit die GART (Graphics Address Remapping Table) gemeint.
 

underclocker2k4

Mr. Alzheimer
Mitglied seit
01.11.2004
Beiträge
20.505
Ort
Bärlin
Das denk ich mir auch, aber da kann man das auch ranschreiben. Aber bei GB soll es halt vollständig gehen, was schonma nen Anfang wäre.

Auf jeden Fall ist IOMMU/VT-D keine triviale Sache auf Consumerboards, daher setzt ich persönlich lieber auf Serverboards, da hat man fast Gewiseheit.
 

LuxxRookie

Experte
Thread Starter
Mitglied seit
13.08.2011
Beiträge
512
Ort
Elmshorn
Hat denn nun jemand irgendwelche Consumerboards getestet (Also aktuelle mit AM 3+ und 990FX Chipsatz) und kann wirklich sagen das PCI Passthrough möglich ist?

Mir geht es eigentlich nur darum das ich auch außerhalb meiner Ausbildungsstätte mich mit dem Thema Virtualisierung und KVM auseinandersetzen kann. Daher ist eine besondere Leistungsfähigkeit nicht so wichtig, allerdings sollte eine gewissen Erweiterbarkeit vorhanden sein bzw. die Leistung sollte reichen um später dann Host + 2-3 Vm´s und zukünftig dann auch bis zu 8/10 TB Storage zum laufen zu bekommen bzw. unterzubringen. Viel wichtiger ist ein möglichst geringer Verbrauch wenn das Ding denn mal läuft und möglichst billig sollte der Spaß halt sein =/
 

gea

Enthusiast
Mitglied seit
16.11.2010
Beiträge
4.533
Also beim Preis wäre bis 400 Euro für Mainboard und Cpu denke ich noch im Bereich des Möglichen für mich (Eben nur Azubi-Level^^). Aber natürlich sollte es so wenig wie möglich kosten, da eben nur begrenzte finanzielle Möglichkeiten
ECC, Hochverfügbarkeit und sowas ist jetzt nicht so wichtig. Geht halt mehr darum nachher Fileserver und andere Dienste damit betreiben zu können und nebenbei noch 3-4 Vms laufen lassen zu können zum testen von Funktionen etc.

Also ganz ehrlich

bis 400 Euro gibt es Serverboards+CPU, die normalerweise garantiert funktionieren, z,B.
Supermicro | Products | Motherboards | Xeon® Boards | X9SCL+-F + vtd- fähige CPU
dazu 4x4 GB ECC RAM und gut.

Ich würde da nicht viel experimentieren.
Zur Not auf IPMI verzichten (würde ich nicht) und die Boards gibts ab 130-150 Euro.
 
Zuletzt bearbeitet:

koaschten

Enthusiast
Mitglied seit
28.02.2005
Beiträge
2.869
Ort
Itz-e-hoe
Da ich auch gerade mit nem neuen whitebox Unterbau für ESXi liebäugele und unbedingt den IOMMU Support möchte hab ich mich die Tage auch mal umgeguckt und bin im Endeffekt bei dieser Zusammenstellung für ziemlich genau 300€ gelandet:
amd esxi | Geizhals Deutschland
Das Board wird laut [H]ardOCP und dem ZFS Stammtisch hier voll unterstützt, die CPU könnte man bis hoch zum 1090T schrauben bei Bedarf und ein weiteres Kit für 16GB maximal Ausbau wäre auch möglich. Das Case gebe ich zu habe ich nach "schwarz, NT>500W, 3.5" > 4x " gewählt ;)

Meinen alten n36l Host würde ich dann zum reinen Storage umwandeln.
 
Zuletzt bearbeitet:

LuxxRookie

Experte
Thread Starter
Mitglied seit
13.08.2011
Beiträge
512
Ort
Elmshorn
Da ich auch gerade mit nem neuen whitebox Unterbau für ESXi liebäugele und unbedingt den IOMMU Support möchte hab ich mich die Tage auch mal umgeguckt und bin im Endeffekt bei dieser Zusammenstellung für ziemlich genau 300€ gelandet:
amd esxi | Geizhals Deutschland
Das Board wird laut [H]ardOCP und dem ZFS Stammtisch hier voll unterstützt, die CPU könnte man bis hoch zum 1090T schrauben bei Bedarf und ein weiteres Kit für 16GB maximal Ausbau wäre auch möglich. Das Case gebe ich zu habe ich nach "schwarz, NT>500W, 3.5" > 4x " gewählt ;)

Meinen alten n36l Host würde ich dann zum reinen Storage umwandeln.


Wäre für mich gerade vom Preis her sehr interessant, da ECC Ram ja doch noch mal einiges mehr kostet (Also aus meiner Sicht, da eben nur begrenzt Geld verfügbar ist). Solltest du das System so in nächster Zeit kaufen wäre interessiert daran wie das ganze so Läuft und was die Verbrauchswerte angeht :)
 
Oben Unten