Furgy
Banned
Ist es, danke dir. 
Infrasturktur-Virtualisierung
- Ersteller Furgy
- Erstellt am
Die üblichen Einstigesstorages der Markenhersteller kommen mit maximal 2x 8Gbit FC dualport. Drei Controller oder zwei Controller mit 3 Anschlüssen sind da eher selten, insofern wirst du bei drei Servern eh nicht um einen FC-Switch herumkommen.
Zu den Servern: In der Masse wird Intel angeboten, AMD macht auch nur bei einigen Spezialanwendungen mehr Sinn. Ich würde hier zu einem Modell aus dem mittleren Leistungsbereich greifen, da ist das Preis-Leistungsverhältniss am besten. Irgendwas um 2,4-2,6GHz sollte genügen.
Backbone
Edit: Kleiner Tipp, viele moderne SANs können schnelle 15k SAS und eher gemütliche 7,2k SATA Platten mischen. Da könnte man die schnellen Platten für die VMs der Server nehmen und die SATA als Datengräber...
Zu den Servern: In der Masse wird Intel angeboten, AMD macht auch nur bei einigen Spezialanwendungen mehr Sinn. Ich würde hier zu einem Modell aus dem mittleren Leistungsbereich greifen, da ist das Preis-Leistungsverhältniss am besten. Irgendwas um 2,4-2,6GHz sollte genügen.
Backbone
Edit: Kleiner Tipp, viele moderne SANs können schnelle 15k SAS und eher gemütliche 7,2k SATA Platten mischen. Da könnte man die schnellen Platten für die VMs der Server nehmen und die SATA als Datengräber...
Zuletzt bearbeitet:
D
daheym
Guest
Dann gibts von mir auch noch n Bildchen von meinem letzten größeren VM-Projekt
Morpheus2200
Semiprofi
- Mitglied seit
- 04.08.2001
- Beiträge
- 30.945
Also die jetzigen Server sind schon recht gut ausgelastet - besonders die älteren davon, die noch keine 4GB RAM haben.
Auch die Netzwerkkarten sind gut ausgelastet zu spitzenzeiten, da sie aktuell nur mit 1GBit angebunden sind, obwohl der Switch eigentlich Multichanneling unterstützen würden.
Ob die 2TB reichen ist ja schnell ausgerechnet: 8 Platten zu 300GB pro Array mit einem RAID5 macht 7x300 = 2100GB, davon geht ja noch einies drauf durch das formatieren, dann reicht das.
Oder meinst du von der Sicherheit des Backups?
Warum soll ich in den Servern noch HDDs verbauen? Die Überlegung hinter dem ganzen ist ja genau das Disaster, wenn ein Server steht (z.B. Mainboard defekt) - dann kann ich von den HDDs, die im Server sind ja nichts mehr kopieren...
Wieso meinst du ob ich 10k Platten im SAN wirklich brauche? Meinst du, 7200er SATA würde auch reichen?
Warum kaufst du keine Storage-Lösungen mehr von Dell, wenn man fragen darf?
Das mit dem 10GBit wäre natürlich auch nicht schlecht, wenn es ohne Switch geht - ich kenne mich da nicht so gut aus.
Dell Storage Lösungen kaufe ich nicht mehr, da ich vor einiger Zeit in einem Test knapp über 6TB Daten vernichtet habe. Der Dell support war der Ansicht ich sollte mit der Maschine ruhig wieder produktiv gehen. Ich sag mal der support war nicht immer zufriedenstellend.
Im moment bin ich mit unserem Netapp für Storage ganz zufireden ist aber für VM-Infrastrukturen nicht unbedingt das richtige Produkt.
Du könntest 2 10GBE Adapter in dem Storage verbauen und mit je 1 kabel an die VM-Server gehen. Solange du nur 2 Kisten hast ist das billig und schnell.
Solange ein ESX Server den anderen zur not komplett ersetzen kann wärst du auch bei Kabelbruch/Netzwerkkartendefekt erstmal weiter produktiv.
10k Platten geben die einen großen Vorteil bei viel IO da weisst auch sicher nur du was bei euch da an Last anfällt.
Als erstes sollte klar definiert werden, welche Anforderungen an die Verfügbarkeit wirklcih von nöten sind...
Wir haben hier auf Arbeit ein ESX Cluster aus ESX4 Advanced Servern (2x) + einen dritten ebenso 4 Adv. dazu (welcher aber eine ältere CPU Generation ist)
Von Fault Tolerance haben wir uns schnell wieder verabschiedet. Einfach weil die Last auf den Hosts ungleich höher ist. Wenn man so will, läuft der zweite Server so nur mit. Ob bei einem 3 Server Konstrukt Fault Tolerance überhaupt geht, weis ich gleich gar nicht...
Bei uns kommt ausschließlich VMotion zum Einsatz, sofern die Hosts laufen... Das ist in meinen Augen auch ausreichend. Das Booten im Fehlerfall der Maschinen ist hat etwas Zeitaufwändig. Aber gemessen an den Mehrkostenaufwand für die Hardware, denke ich sind Zeiten von 30-60min Ausfall durchaus zu verschmerzen. Mit ordentlich Bumms unterm Storage kannst auch mehrere VMs gleichzeitig booten und hast somit wieder schnell die Maschinen oben.
Es wird ebenso noch ein zusätzlicher Server von nöten sein, welcher als VCenter Server fungiert. Kann zwar auch virtualisiert sein, aber macht in meinen Augen eher weniger Sinn... Der managed das ganze geplänkel mit den Hosts dann und schon rennt der Hase.
Die VCenter Server Lizenz dürfte mit dem ESX mitkommen, soweit ich weis. Wir haben unseren dann sogar noch weiter aufgebohrt und als Backup Server laufen lassen. Er hat einen HBA bekommen und kann so dank HP Data Protector direk im Snapshot verfahren die Daten vom SAN abgreifen. (sprich sehr fix über FC) und direkt aufs Band schreibseln. Im Vollständigen Fehlerfall des SANs kann man so bequem alle VMs wieder ziemlich zeitnah auf ein Austauschgerät bringen...
Zum Storage, ich würde ganz klar auf FC gehen, mit iSCSI haben wir die letzten Jahre eher schlechtere Erfahrungen gemacht, nicht von der Handhabe her, sondern eher vom Speed her. Ich habe hier den direkten Vergleich zwischen einer MSA2012i und einer MSA2312fc. Einmal iSCSI Dualcontroller und einmal FC Dualcontroller 8GBit. FC schlägt die iSCSI Geschichte um Welten, nun kann natürlich die HP Umsetzung auch grottig sein, wer weis, aber ich würd gemessen am Preis beider Modelle klar zu FC tendieren. Dual 4GBit dürften auch dicke ausreichend sein.
Zum Thema RAM, kann ich ganz klar nur empfehlen, viel hilft viel... Da kommt mal da ne VM hinzu und hier noch eine, dann bist schnell mit den knapp dimensionieren 24GB pro Host am Ende.
Wir sind damals von einem gut 24-26GB ausgelasteten (32GB physisch) ESXi 3.5 auf zwei gut 19GB ausgelastete (24GB physisch) ESX4 Adv. Hosts umgezogen... Im nachhinein jetzt nach einem Jahr kann ich sagen, wären 32GB wohl wünschenswert gewesen. Wir haben notgedrungen schon den alten ESXi mit ins Boot genommen (siehe oben, mit der 4 Adv. Lizenz) damit wir mehr RAM für die VMs über haben...
CPU technisch ansich dürften kleinere 2,2-2,5GHz Quads dicke reichen, im Schnitt wird auch da die Auslastung eher wenig sein...
Auchso noch kurz zum Raidarray, ich würd klar hier mehrere Arrays erzeugen. Sprich nicht ein riesen großes Array für alles, sondern mehrere kleine unabhängige Arrays. Beispielsweise eins mit den Daten für die Server OS Partitionen. Eins für Datenbanken (unabhängig auf anderen HDDs) und eins (vllt auch dort mit großen SATA HDDs) fürs Storage ansich.
Zum Thema Kosten, unsere 4 Adv. Lizenz hat grob 7500€ gekost. Ist eine 6 CPU Lizenz, sprich wie schon angesprochen wurde nach CPU Sockeln lizensiert. Es können also bis zu 6 Single CPU Server oder eben 3 Dual CPU Server genutzt werden. Andere Konstellationen ebenso möglich. VCenter Server inkl. (also der zählt da nicht mit rein, ist aber dabei was die Lizenz angeht)
Und zu guter letzt noch ein Tipp... Den Domaincontroller bitte nicht virtualisieren, bzw. wenn unbedingt gewünscht, wenigstens den Master DC der Domaine physisch irgendwo tuckern lassen. Gerade wenn man mit Snapshots arbeitet usw. kann das schnell das ganze AD zerkloppen, wenns mal brenzlich wird und man auf die Snapshots zurück greifen muss...
Wir haben hier auf Arbeit ein ESX Cluster aus ESX4 Advanced Servern (2x) + einen dritten ebenso 4 Adv. dazu (welcher aber eine ältere CPU Generation ist)
Von Fault Tolerance haben wir uns schnell wieder verabschiedet. Einfach weil die Last auf den Hosts ungleich höher ist. Wenn man so will, läuft der zweite Server so nur mit. Ob bei einem 3 Server Konstrukt Fault Tolerance überhaupt geht, weis ich gleich gar nicht...
Bei uns kommt ausschließlich VMotion zum Einsatz, sofern die Hosts laufen... Das ist in meinen Augen auch ausreichend. Das Booten im Fehlerfall der Maschinen ist hat etwas Zeitaufwändig. Aber gemessen an den Mehrkostenaufwand für die Hardware, denke ich sind Zeiten von 30-60min Ausfall durchaus zu verschmerzen. Mit ordentlich Bumms unterm Storage kannst auch mehrere VMs gleichzeitig booten und hast somit wieder schnell die Maschinen oben.
Es wird ebenso noch ein zusätzlicher Server von nöten sein, welcher als VCenter Server fungiert. Kann zwar auch virtualisiert sein, aber macht in meinen Augen eher weniger Sinn... Der managed das ganze geplänkel mit den Hosts dann und schon rennt der Hase.
Die VCenter Server Lizenz dürfte mit dem ESX mitkommen, soweit ich weis. Wir haben unseren dann sogar noch weiter aufgebohrt und als Backup Server laufen lassen. Er hat einen HBA bekommen und kann so dank HP Data Protector direk im Snapshot verfahren die Daten vom SAN abgreifen. (sprich sehr fix über FC) und direkt aufs Band schreibseln. Im Vollständigen Fehlerfall des SANs kann man so bequem alle VMs wieder ziemlich zeitnah auf ein Austauschgerät bringen...
Zum Storage, ich würde ganz klar auf FC gehen, mit iSCSI haben wir die letzten Jahre eher schlechtere Erfahrungen gemacht, nicht von der Handhabe her, sondern eher vom Speed her. Ich habe hier den direkten Vergleich zwischen einer MSA2012i und einer MSA2312fc. Einmal iSCSI Dualcontroller und einmal FC Dualcontroller 8GBit. FC schlägt die iSCSI Geschichte um Welten, nun kann natürlich die HP Umsetzung auch grottig sein, wer weis, aber ich würd gemessen am Preis beider Modelle klar zu FC tendieren. Dual 4GBit dürften auch dicke ausreichend sein.
Zum Thema RAM, kann ich ganz klar nur empfehlen, viel hilft viel... Da kommt mal da ne VM hinzu und hier noch eine, dann bist schnell mit den knapp dimensionieren 24GB pro Host am Ende.
Wir sind damals von einem gut 24-26GB ausgelasteten (32GB physisch) ESXi 3.5 auf zwei gut 19GB ausgelastete (24GB physisch) ESX4 Adv. Hosts umgezogen... Im nachhinein jetzt nach einem Jahr kann ich sagen, wären 32GB wohl wünschenswert gewesen. Wir haben notgedrungen schon den alten ESXi mit ins Boot genommen (siehe oben, mit der 4 Adv. Lizenz) damit wir mehr RAM für die VMs über haben...
CPU technisch ansich dürften kleinere 2,2-2,5GHz Quads dicke reichen, im Schnitt wird auch da die Auslastung eher wenig sein...
Auchso noch kurz zum Raidarray, ich würd klar hier mehrere Arrays erzeugen. Sprich nicht ein riesen großes Array für alles, sondern mehrere kleine unabhängige Arrays. Beispielsweise eins mit den Daten für die Server OS Partitionen. Eins für Datenbanken (unabhängig auf anderen HDDs) und eins (vllt auch dort mit großen SATA HDDs) fürs Storage ansich.
Zum Thema Kosten, unsere 4 Adv. Lizenz hat grob 7500€ gekost. Ist eine 6 CPU Lizenz, sprich wie schon angesprochen wurde nach CPU Sockeln lizensiert. Es können also bis zu 6 Single CPU Server oder eben 3 Dual CPU Server genutzt werden. Andere Konstellationen ebenso möglich. VCenter Server inkl. (also der zählt da nicht mit rein, ist aber dabei was die Lizenz angeht)
Und zu guter letzt noch ein Tipp... Den Domaincontroller bitte nicht virtualisieren, bzw. wenn unbedingt gewünscht, wenigstens den Master DC der Domaine physisch irgendwo tuckern lassen. Gerade wenn man mit Snapshots arbeitet usw. kann das schnell das ganze AD zerkloppen, wenns mal brenzlich wird und man auf die Snapshots zurück greifen muss...
Zuletzt bearbeitet:
underclocker2k4
Mr. Alzheimer
Bevor hier überhaupt was virtualisiert wird, passt daheym bitte seine Virtualisierung an. Die ist viel zu groß und mit 717KB auch viel zu schwer. 
Zuletzt bearbeitet:
Furgy
Banned
Danke für den guten Input, fdsonne.
Aber das mit dem zerschossenen AD musst du mir bitte erklären, wie es zu sowas kommt...
Ich habe während 4 Jahren Arbeit bei einem Dienstleister Domain Controller virtualisiert, auch mit Snapshot und dem ganzen drum und dran, und habe nie irgendein AD abgeballert. Und ich habe einiges probiert.
//Edit: Warum wird die Abkürzung von Domain Controller zensiert?
Aber das mit dem zerschossenen AD musst du mir bitte erklären, wie es zu sowas kommt...
Ich habe während 4 Jahren Arbeit bei einem Dienstleister Domain Controller virtualisiert, auch mit Snapshot und dem ganzen drum und dran, und habe nie irgendein AD abgeballert. Und ich habe einiges probiert.
//Edit: Warum wird die Abkürzung von Domain Controller zensiert?
Frankenheimer
╬Bruderschaft ALC╬
das halte ich für nicht notwendig. einer unserer vcenter managed derzeit knapp 50 ESX Hosts mit mehreren hundert VMS und ist eine VM mit Windows 2008 R2 und 4GB RAM. Klar, das System hat schon ein bisschen was zu tun, aber die Last liegt eher beim Datenbankserver.
Jaja, das vmware Lizenzmodell. Der Fairniss-halber muss man aber sagen, das das bei anderen noch wesentlich schlimmer ist.
Der gute Sonne beschreibt hier das sogenannte "vSphere Advanced acceleration kit". Das ist ein bundle das sich lohnt wenn man genau diese Teile braucht.
Zum Vergleich, Essentials Plus (mit den oben genannten Einschränkungen) kostet in solchen Projekten rund 2000€ netto.
Backbone
Zuletzt bearbeitet:
Danke für den guten Input, fdsonne.
Aber das mit dem zerschossenen AD musst du mir bitte erklären, wie es zu sowas kommt...
Ich habe während 4 Jahren Arbeit bei einem Dienstleister Domain Controller virtualisiert, auch mit Snapshot und dem ganzen drum und dran, und habe nie irgendein AD abgeballert. Und ich habe einiges probiert.
//Edit: Warum wird die Abkürzung von Domain Controller zensiert?
Also DC kannst schreiben... hängst ein s hinden dran, wirds zensiert, kein Plan warum.
Zum AD. Ja das ist so ne Sache, sicher kann das gutgehen, bzw. wird wohl in den meisten Fällen auch. Aber ich für meinen Teil bin bei sowas immer etwas vorsichtiger...
Solange nix passiert ist alles i.O. Aber sobald man regen Gebrauch von der Snapshot Funktion hat und man beispielsweise Bidirektionale Replizierungen zwischen verschiedenen (Standort) Domaincontrollern einsetzt, können sich da Inkonsistenten einschleichen, die unter Umständen das AD komplett lahm legen könnten... Das fängt mit unschönen Fehlermeldungen im Log an und hört beim kompletten Crash auf.
Ich bin zum Glück nicht in die Verlegenheit gekommen derartiges mal ausmerzen zu dürfen. Aber ein paar meiner Kollegen hatten dieses vergnügen schon.
Wenn man die Möglichkeit hat, sollte man zumindest mal in Betracht ziehen den Chef der DC's auf ner physischen Kiste zu belassen.
Diverse bekannte Probleme mit Zeitsyncronisierung und Co. tun dabei ihr übriges.
Klar gehen tut das... Eleganter wäre es aber wohl diesen auszulagern. Wenn mal Probleme auftreten erspart man sich so wohl etwas ärger und ist etwas flexibler. Wobei ich auch nur von Umgebungen mit wenigen Hosts und VMs im Bereich 20-30 Stück sprechen kann.
Ich denke wenn man neben den ESXen noch Server betreibt, welche explizit physisch sein müssen, beispielsweise weil die Software einen Dongle oder ähnliches vorraussetzt. Oder weil man ne ISDN Karte verbauen muss oder weis der Geier, würde es sich anbieten dort auch gleich den VCenter Server draufzubringen.
Zuletzt bearbeitet:
Wie läuft es bei dem Teil mit Redundanzen?
Ich mein, man baut ja schließlich Clusterlösungen für die Redundanz. Drückt man nun die virtualisierung auf einen einzigen physischen Host, so könnte das im Fehlerfall auch unschön enden, eben weil dann doch alles mit einmal steht, ohne Möglichkeiten das System übergangsweise wieder zum laufen zu bringen.
Wobei ich mal behaupten würde, selbst mit einem normalen Dual CPU Server im Bereich zwei mittlere Quadcore CPUs und viel viel RAM, also sagen wir 32GB und mehr sollten alle Anforderungen gedeckt sein. CPU Technisch reicht das Dicke, beim RAM kommts halt drauf an.
Nur eben steht die Kiste --> Problem.
Dann doch lieber zwei drei kleinere Hosts und dafür die VMs schön verteilen. Unter Umständen sogar FT aktivieren und schon ist Ruhe im Karton...
Ich mein, man baut ja schließlich Clusterlösungen für die Redundanz. Drückt man nun die virtualisierung auf einen einzigen physischen Host, so könnte das im Fehlerfall auch unschön enden, eben weil dann doch alles mit einmal steht, ohne Möglichkeiten das System übergangsweise wieder zum laufen zu bringen.
Wobei ich mal behaupten würde, selbst mit einem normalen Dual CPU Server im Bereich zwei mittlere Quadcore CPUs und viel viel RAM, also sagen wir 32GB und mehr sollten alle Anforderungen gedeckt sein. CPU Technisch reicht das Dicke, beim RAM kommts halt drauf an.
Nur eben steht die Kiste --> Problem.
Dann doch lieber zwei drei kleinere Hosts und dafür die VMs schön verteilen. Unter Umständen sogar FT aktivieren und schon ist Ruhe im Karton...
Das gibts von anderen Herstellern auch, etwa IBM mit dem System S. Das Hauptproblem bei den Dingern:
Die einzelnen Blades sind teuer und man muss das teure Gehäuse auch extra kaufen. Hinzukommt, dass es im Fehlerfall eben schnell mal das ganze System steht.
Backbone
Furgy
Banned
Kleines Statusupdate: Heute Nachmittag kommt einer von Dell (ein Storage-Experte) vorbei und schaut unsere aktuelle Infrastruktur mal an und wird mir dann sicherlich mehr sagen können, immerhin mal bezüglich des zentralen Speichers...
Furgy
Banned
Der ist von einer Firma die nur Storage-Lösungen verkauft, unter anderem eben auch Dell - aber er ist nicht von Dell selber...
Aber auch der will nur verkaufen
Ich denke mal am besten fährst du, wenn du dir da einen Dienstleister beratend zur Seite stellst...
Ich behaupte du kommst mit einem kleinen SAN ala MSA2312fc von HP oder halt das Gegenstück von Dell gut hin. Von iSCSI würd ich aber die Finger lassen, weil der Speed wie ich festgestellt hab ungleich schlechter ist... Trotz getrunkten GBit LAN Ports zum Storage.
Na mal schauen was der sagt...
Ich denke mal am besten fährst du, wenn du dir da einen Dienstleister beratend zur Seite stellst...
Ich behaupte du kommst mit einem kleinen SAN ala MSA2312fc von HP oder halt das Gegenstück von Dell gut hin. Von iSCSI würd ich aber die Finger lassen, weil der Speed wie ich festgestellt hab ungleich schlechter ist... Trotz getrunkten GBit LAN Ports zum Storage.
Na mal schauen was der sagt...
