Vmware Umgebung Fibre Channel vs. NFS

[crashi102]

Hallo zusammen,

ich bin aktuell in der Plannung für einen Kunden eine 2. VMware Umgebung aufzubauen. Aktuell haben wir bereits ein VMware Cluster, welches auf Fibre Channel Basis damals realisiert worden ist. Als Storage wurde damals ein Infortrend der EonStor genommen, welches nun auch im 5 Jahre ohne Probleme seine arbeit bewerkstelligt.

Nun steht ein neues VMware Cluster an, welches komplett unabhänig vom dem aktuellen sein soll. Aktuell sind ca 5 bis 6 ESXi Server in Planung. Die entscheidenden Frage ist nun, ob ich wieder auf Fibre Channel Basis setze und somit auch wieder in die teuren FC Switche investieren muss plus die FC HBA's pro Server oder ob ich diesmal das Cluster auf Basis von NFS aufbauen soll.

Bei der NFS Varinate würde ich anstelle von einem Infotrend Stroage eine NetApp FS 2240 nehmen.
Bei der FC Variante müsste ich Budget bedingt durch den Aufpreis der FC Switche wieder ein Infortrend Storage bestellen. Was erstmal nicht neagtiv klingeln soll, da wir wie bereits am Anfang beschrieben, keine schlechten Erfahrungen mit den Infortrend Storage Systemen gemacht haben.

Aktuell würde ich zur NFS Variante tendieren, da ich nicht wieder eine extra FC Netzwerk aufbauen muss und auch die Folgekosten geringer wären und mit den NetApp flexibler wäre. Welche Meinung habt ihr zu den zwei folgenden Punkten:

Performance Vergleich NFS vs. FC
NetApp FS 2240 (selbst noch keine Erfahrung mit dem Produkt)

Vielen Dank schon mal für euren Rat!

[Steggi]

Im direkten Vergleich fährst du mit NFS kostengünstiger, als mit FC. Allerdings hast du dafür auch ein paar Nachteile, um dir mal ein paar zu Nennen:

- geringere Geschwindigkeit, wenn du nicht grade 10GBit fährst
- fehlendes (bzw recht umständliches) Loadbalancing
- geringere IO Leistung im Vergleich zu internem Storage oder FC. Hab das vor kurzem mal gebencht --> ESX / ESXi - Hilfethread

Du musst halt überlegen, was in deiner Umgebung Priorität hat bzw was gefordert wird.

[crashi102]

Interessanter Vergleich. Gerade das Thema IO macht mir Sorgen. Ich hätte nun gedacht das sich die reine Bandbreite bei 1Gbit Ethernet zu 8 Gbit FC gar nicht so drastisch auswirkt, da es sich ja nicht um große Files handelt.

[fdsonne]

Wenn die Möglichkeit auf FC besteht, dann nimm FC...

Unterm Strich wird bei vergleichbarem Speed die FC Version nur unwesentlich teurer sein, wenn überhaupt. Und ich behaupte, betrachtet man sich das ganze mal in Summe, so wird der Aufpreis für FC im Vergleich zum Rest eher gering ausfallen. Ich meine damit die Gesamtbetrachtung der ganzen Hardware + Softwarelizenzen der ESX Umgebung + Wartung.

Wie schon angesprochen wurde, ist iSCSI/NFS auch nur dort günstig, wo man auf "billige" 1GBit Standardswitches setzt. Und sich somit den deutlich geringeren Speed in Sachen Bandbreite und vor allem auch in Sachen Latenz ins Haus stellt. Geht man den Schritt weiter auf 10GBit Ethernet, sind die Mehrkosten für NICs und Switches schon wieder ähnlich hoch wie für das FC Equipment. Unterm Strich bleibt die geringere Latenz von FC aber immernoch als Nachteil für die NFS/iSCSI Version.
Ansonsten bleibt noch zu erwähnen, das Dual Port HBAs bei FC gleichsam den Vorteil bringen, doppelt redundante Anbindung des Storage zu ermöglichen, wo es bei iSCSI/FC an nur einem Strick hängt. Klar kann man hier auch mehrere NICs Redundanzen schaffen, aber das dürfte wiederum schwerer werden das zu managen.
Dazu müssen die Switches schon ordentlich Bumms haben, damit die 10Gbit auch ordenltich zum tragen kommen... Mit günstigen Mittelklasse Switches und 2-4 SFP+ Einschüben kommt man mit sechs Hosts + womöglich nem DualPort Controller NAS nicht weit
HighEnd Switches mit 12-16 10GBit Ports als Backbone für die Storage Netze und das ganze dann noch doppelt ausgelegt (wie man es bei FC machen würde) kostet dich mit größter Warscheinlichkeit sogar mehr wie die HBAs für die ESXen + zwei ausreichend groß dimensionierte FC Switches + GBics...

[H_M_Murdock]

Vor allem wenn man damit rechnet dass man das Storagenetz ja ohnehin auf getrennter Hardware (Switches) fahren sollte denke ich auch dass FC insgesamt die bessere Lösung ist.
Die Vorteile hat fdsonne ja schon aufgezählt.

[bluesunset]

Schwierig schwierig. Du versuchst zwei unterschiedliche Systeme zu vergleichen. FC ist blockbasiert und reicht Sektoren von Festplatten durch. NFS hingegen ist Dateibasiert und hat dadurch schonmal etwas mehr Verwaltungsaufwand. NFSv4.x bietet dir ein paar Features die du wohl haben willst.
Du kannst auch ins kalte Wasser springen und dir einen 16Gbit FC Dualport HBA anschaffen, der kann auch 10Gbit Ethernet zur Not neben ein paar Virtualisierungsextras. Die HBAs sind halt relativ neu.

[fdsonne]

Du kannst auch ins kalte Wasser springen und dir einen 16Gbit FC Dualport HBA anschaffen, der kann auch 10Gbit Ethernet zur Not neben ein paar Virtualisierungsextras. Die HBAs sind halt relativ neu.

Geht sowas mit nem ESXi zum laufen zu bringen? Könnte ich mir schwer vorstellen, weil man dort nahezu keine Möglichkeiten zum Tricksen hat, wie es bei nem Linux/Unix System machbar wäre. Selbst Intel NICs und dessen spezielle Teamingmöglichkeiten, welche sogar soweit gehen, das man nicht Intel Karten mit nutzen kann, (was unter Windows recht gut funktioniert) stehen mit nem ESX ganz außen vor. Da bleiben idR nur spezielle teure Karten und dessen möglicher ESX Aufsatz (beispielsweise Hardware iSCSI NICs) oder eben die herkömmlichen Boardmittel des ESXen selbst. Und wenn der meint, das ist ein FC HBA, ist da nix mit IPoverFC
Wobei ich aber zugeben muss, solche nagelneuen Karten noch nicht in der Hand gehabt zu haben.

[bluesunset]

Wie im 10Gbit Heimnetzwerk Thread schon gepostet: Es gibt von Brocade einen Dualport FC HBA für 16Gbit FC welcher auch mit anderen SFP+ Modulen für 10Gbit Eth nutzbar ist.
Einfach mal die ganzen Features unter Brocade 1860 Fabric Adapter ansehen:

In addition, Brocade Network Advisor provides VM visibility in VMware ESX environments for hosts running Brocade server adapters, providing end-to-end VM-to-Logical Unit Number (LUN) path information for all the VMs running on each physical server. ...

n addition, Brocade Network Advisor provides VM visibility in VMware ESX environments for hosts running Brocade server adapters, providing end-to-end VM-to-Logical Unit Number (LUN) path information for all the VMs running on each physical server

I/O Virtualization
Brocade vFLink Up to four Physical Functions (PFs) (vHBA/vNIC) per port (8 PFs per dual-port adapter) with configurable bandwidth allocations in 100 Mbps increments
SR-IOV Up to 255 Virtual Functions (VFs) per adapter

Inwiefern ein Mischbetrieb mit 1x 16 oder 8Gbit/sec SFP+ FC-Modul und 1x10Gbit/sec SFP+ Ethernet Modul auf einem Dualport HBA möglich ist kann ich leider nicht sagen. Zumindest wird es in dieser Konfiguration nicht verkauft. Entweder beide mit 16Gbit FC oder 10Gbit Eth.

[XN04113]

Das aktuelle produktive VMware Cluster bei meinem Arbeitgeber mit DELL910 ist komplett via 10GB Ethernet und mit NFS am NetApp Storage angeschlossen.
Dazu spielt noch der Cisco Virtual Switch mit. Spielt im Moment sehr gut zusammen. Die 10GB sind aber Pflicht!

[crashi102]

Ach ihr macht es mir aber auch nicht leicht. In der letzten Zeit hat mir immer mehr NFS zugesagt und nun bin ich wieder unsicher geworden. Fakt ist das ich bei NFS aktuell nur mit 1Gbit Leitungen geplant habe. Sprich die NetApp würde ich via Port Trunking mit 4x1Gbit an Switch anbinden. Ich war zwar anfangs auch sehr skeptisch ob das ausreicht, jedoch wurde mir vom Lieferanten gesagt das Sie Kunden haben die mehr als 100 VMs auf einer NetApp betreiben und diese nur mit einem Gbit Kabel verbunden sind.

Das von uns bereits aktive System hatte in der Vergangenheit mal Probleme gehabt, was die SCSI Reservations betrifft. Ich hatte gelesen das die VM Dichte auf einem NFS Storage deutlich höher liegen soll als bei LUNs via FC. Zu mal NFS nicht das Reservation Problem hat.

Mir ist wie gesgat auch bewußt das es nicht ganz fair ist NFS 1Gbit mit FC8 Gbit zu vergleichen. Die Frage stellt sich mir auch nach dem Nutzen. 8Gbit hört sich zwar super und beruhigend an, wenn ich aber mit 4x 1Gbit auch auskomme, dann solls mir auch recht sein.

Die zweite Frage die ich mir stelle ist das Produkt NetApp selbst. Hier würde das Modell FS-2044 mit 24x 600GB SAS in Frage kommen. Die allgemeine frage die ich mir stelle was kann man von NetApp generell halten. Sind sie so gut was auch die höheren Presie rechtfertigt oder haben sie einfach nur ein gutes Marketing? Und die durchaus interessantere Frage ist, ob die 2000er Modellreihe überhaupt von der Performance etwas taugt oder man doch lieber auf die 3000er Reihe gehen sollte. Da werd ich bei NetApp nicht so ganz schlau. Den einzigen großen Unterschied den ich bis jetzt gefunden habe ist, das die 2000er Reihe kein Clusterbetrieb kann. Ist das wirklich alles. Die 3000er Reihe hat nicht mehr Power oder ähnliches?

So ein bissel habe ich das Gefühl, dass das Ganze auch eine Glaubensfrage ist.

[fdsonne]

Glaubensfrage bedingt. Wie gesagt, es macht wenig Sinn ein 8GBit/sec FC Storagenetz mit nem abgespeckten 1GBit/sec NFS Storagenetz zu vergleichen. Wenn dann sollte die Basis gleich sein.
Bei 8GBit FC hat man ja dann auch wiederum mindestens zwei Ports bzw. besser nen Dualcontroller mit in Summe vier Ports.
Sprich rein vom Speed her würde wohl gar ne 2GBit oder 4GBit FC Verkablung reichen, was sich Preislich sowohl im Backplanespeed der FC Switche bemerkbar macht und auch in Preisen der GBics...

Ansonsten hilft schlussendlich wohl nur selbst austesten.
Ich habe viel mit iSCSI und FC getestet. Unterm Strich war trotz identischen HDDs (die hin und her getauscht wurden) mit den beiden HP MSA Testgeräten FC deutlich fixer.
Dabei spiegeln Benches auch nicht 100% die wahren Begebenheiten wieder. Unterschiede kommen dann bei viel Belastung auf dem Storage selbst und im laufenden Betrieb. Wohingegen punktuelle Benches wohl sehr wenig Speedunterschiede bescheinigen mögen.

[Metzzo]

Ach ihr macht es mir aber auch nicht leicht. In der letzten Zeit hat mir immer mehr NFS zugesagt und nun bin ich wieder unsicher geworden. Fakt ist das ich bei NFS aktuell nur mit 1Gbit Leitungen geplant habe. Sprich die NetApp würde ich via Port Trunking mit 4x1Gbit an Switch anbinden. Ich war zwar anfangs auch sehr skeptisch ob das ausreicht, jedoch wurde mir vom Lieferanten gesagt das Sie Kunden haben die mehr als 100 VMs auf einer NetApp betreiben und diese nur mit einem Gbit Kabel verbunden sind.

Wenns dumm läuft, laufen fast alle VMs über eine Gbit Strecke, da Quell und Ziel IP irgendwie xor verknüpft werden und jenach Ergebnis wird eine pNic genutzt. Dazu mehr unter: The Great vSwitch Debate

Das von uns bereits aktive System hatte in der Vergangenheit mal Probleme gehabt, was die SCSI Reservations betrifft. Ich hatte gelesen das die VM Dichte auf einem NFS Storage deutlich höher liegen soll als bei LUNs via FC. Zu mal NFS nicht das Reservation Problem hat.

Da helfen schlicht und ergreifend mehrere kleine LUNs/Datastores.

Die zweite Frage die ich mir stelle ist das Produkt NetApp selbst. Hier würde das Modell FS-2044 mit 24x 600GB SAS in Frage kommen. Die allgemeine frage die ich mir stelle was kann man von NetApp generell halten. Sind sie so gut was auch die höheren Presie rechtfertigt oder haben sie einfach nur ein gutes Marketing? Und die durchaus interessantere Frage ist, ob die 2000er Modellreihe überhaupt von der Performance etwas taugt oder man doch lieber auf die 3000er Reihe gehen sollte. Da werd ich bei NetApp nicht so ganz schlau. Den einzigen großen Unterschied den ich bis jetzt gefunden habe ist, das die 2000er Reihe kein Clusterbetrieb kann. Ist das wirklich alles. Die 3000er Reihe hat nicht mehr Power oder ähnliches?
So ein bissel habe ich das Gefühl, dass das Ganze auch eine Glaubensfrage ist.

Naja je nach Serie unterscheidet sich die Hardware und die unterstützen Features bzw. mögliche Erweiterungen.

Schonmal über Storage Virtualisierung ala DataCore nachgedacht? Da reichen zwei standard Dell Server + MD Shelfs als Storage (ggf. einfach SAS im Backend) und ISCSI/FC im Frontend zu den ESXen. Die Lösung ist super solide! Vor allem Features wie ALUA sind natürlich schon eine feine Sache!!

[xrated]

FC ist etwas touchy. Ich hatte 2x den Fall erlebt das plötzlich Datenkorruption da war, was evtl. verursacht durch Konfigurationsänderungen war. NFS ist da einfach etwas toleranter und bei Netapp stimmt der Speed durchaus.

Ist halt auch ne Preisfrage und wie redundant das ganze werden soll.

[Backbone]

Es wäre vielleicht generell eine Idee mal zusammenzufassen, was die Lösung können MUSS, was nice-to-have wäre und wie hoch das Budget ist. Das Systemhaus den geringsten misstrauens sollte dann in der Lage sein, zwei Szenarios aufzustellen und die Vor- und Nachteile ordentlich zu beraten...

Backbone

[GoodLuck]

Wir standen vor 1 Jahr vor der selben Frage und haben die FC Umgebung gegen NFS getauscht. Die Umgebung besteht aus einem ESX Cluster mit 7 Servern und einem EMC Storage NS120. Wenn ich die Wahl hätte, würde ich die NFS Kisten verbannen und wieder auf FC Umstellen. Zum Glück ist unser Oracle Datenbankserver noch mit FC an das Storage angebunden.
Wenn Du Performance benötigst (denke braucht jeder) dann geht an 10G Ethernet kein Weg vorbei. Bei uns fingen die Probleme damit an und die Kosten stiegen.
Zur Zeit konfigurieren wir einen HP Core mit zwei A5820X Switchen, und versuchen die ESX-Server DELL PowerEdge R710 mit SFP+ Kabel ans laufen zu bringen, leider ohne Erfolg.

Mein Rat bleib bei FC, wir haben den wechsel bisher teuer bezahlt und sind noch nicht am Ziel

Gruß wb

[crashi102]

Hey,

vielen Dank für die zahlreichen Antworten. Nachdem ich mir mal ein paar Angebote für NFS mit 10Gbit durchgrechnet habe, wird denke ich mal das neue Projekt nun auch wieder mittels FC realisisert weden. Da ist mir die Gefahr einfach zu groß, dass NFS über 1Gbit oder über die Trunks nachher zu langsam ist und der Kunde sich beschwert, dass im nachhinein nochgebessert werden muss und neue Kosten entstehen. Doch doch lieber gleich die richtige Technik einsetzen auch wenn es etwas teurer ist.

[xrated]

Und wie wird gesichert?