Männer NAS

[bastelfreak]

Hi,
Die ganzen fertig NAS Systeme sind für _setze_ein_wort_ein_ ja ganz toll, die kleinen Zusammenstellungen im Homeserverforum reichen für SoHo auch aus. Aber Einige von uns brauchen richtige Sachen

Momentan laufen bei mir 2*ESX4 Server und ein Filer. Die VMs werden/sollen auf dem Filer gespeichert. Außerdem liegen da einige Backups von den LAN Clients. Die Paravirtuallisierung stellt mein Lab da mit dem ich Firmennetzwerke simmuliere. Im aktuellen Filer befinden sich 8*1,5tb Platten, ein Perc 5/i und ein i5/P55 Mainboard. Die Schreib/Leseleistung reich vollkommen aus, ich benötige aber mehr Speicher. Habe für den Anfang an 8*2Tb gedacht die später auf 16 HDDs erweitert werden. Ich denke hier bieten sich 2*Raid 5 an. Dieser Filer wäre in der Frauen Version in einem schönen Tower der neben dem Schuhschrank steht, wir Männer benötigen allerdings einen 19" Server.

Meine Fragen an euch:
Welches 19" Case für min. 16 HDDs das uATX Boards und Netzteile fast könnt ihr empfehlen?

Passender Controller? Ein Zweiter Perc?
Welche 2TB Platten sollte man nehmen? Ich denke die Samsungs mit 5400rpm könnten im Raid ein bisschen lahm sein.

 

[H_M_Murdock]

Ne Gehäuseempfehlung hätt ich für dich:
Chenbro RM41416B
Hab selber eins davon.
- 4HE, 16 HotSwap Plattenschächte
- SAS/SATA Backplane (Optional)
- normale ATX Netzteile verwendbar
- PCI-Karten Einbau FullProfile ohne Risercard möglich
- µATX Board ist auch kein Problem (ist eigentlich eh für größere Sachen ausgelegt aber von den Löchern her passts)

Von Chenbro gäbs dann auch noch entsprechend größere wenn > 16 Platten gewünscht sind.

Bei deinem Anwendungszweck würd ich dir von allen Platten mit < 7200 U/Min abraten.
interessant wär wie viele VMs da drauf sollen, ggf wäre sogar an 10k/15k SAS Platten zu denken.

Zwecks 2 TB Platten mit 7200 u/min bin ich grad selber am schauen, meine erste Wahl (auch leider aktuell die teuerste) wär die WD RE4 2TB, die Hitachi Ultrastar schient auch nicht verkehrt zu sein und auch mit der Hitachi Deskstar 2 TB kann man wohl wenig falsch machen (und die ist wesentlich billiger als Ultrastar und RE4).

Controllertechnisch schwören hier viele auf die Perc, ich werf mal Areca in den Raum die sollen ne sehr gute Performance bieten.
3Ware ist denk ich auch nicht verkehrt aber dann nur noch die 9750er Serie, alles drunter kann keine Platten > 2 TB und ist damit nicht zukunftssicher.
Allerdings hab ich zur 9750er Serie bisher nicht viel gehört.

 

[patrock84]

Die Daten sind weniger geschäftskritisch, in Bezug auf Ausfallzeiten? Simulierst du nur Firmennetze oder entsteht wirklich Last?
Die WD RE4 ist wirklich top und auch für den Dauerbetrieb zugelassen. Festplatten mit 5.400 U/min wäre einfach zu langsam und mit den Zugriffszeiten wird man sonst nie glücklich. Schon über ein HotSpare-HDD nachgedacht?

Interessehalber: Was für eine vSphere-Lizenz hast du? Oder ist es doch ein ESXi?

 

[fdsonne]

Wie willst du denn die Platten an die ESXen anbinden?

Weil daran hängt in meinen Augen das komplette Vorhaben ab...
Ebenso wäre interessant, was du ausgeben willst.

Das Problem am ausgelagerten Filesystem ist halt die Zugriffsgeschichte. Günstiges iSCSI zu bauen ist einfach aber sehr lahm, gerage wenns um Zugriffszeiten geht. Echtes Hardware iSCSI ist auch nicht ohne im Preis, ist etwas schneller aber immernoch nicht optimal.

Schnelles SAN über FibreChannel zu bauen ist vergleichsweise schweine teuer, dafür aber auch richtig fix.


Ich frage deshalb, weil du drüber nachdenkst, was du für Platten nehmen willst, der gemessene Unterschied bei iSCSI (gerade bei der Softwaregeschichte) ist wohl fast gar nicht zu unterscheiden... Mal von den Zugriffszeiten abgesehen, aber die sind auch so bei iSCSI extrem schlecht.

Wenn du echte vShpere Lizenzen hast, und die ESXen im Clusterbetrieb laufen sprich beide auf das selbe Storage zugreifen kommst du natürlich nicht drun rum, sollte das aber nicht der Fall sein, würde ich ganz klar zwei interne RAID Arrays bauen. Da bekommst du nochmal nen richtigen spürbaren Schub bei der Leistung...


Achso und noch eine Anmerkung zum Raidlevel, nimm keine Raid 5 Arrays zumindest nicht für Datenbanken und die Betriebssystempartitionen/Platten. Lieber Raidlevel ohne Parität, das bringt gut was an Performance im Vergleich zum Raid 5/6.

Ebenso sollte man drauf achten, wie man die Partitionen erstellt. Eine in 2003 Server und älter partitionierte Windows Platte macht unter Umständen "Performaceprobleme". Der Startbereich der erste Partition sollte auf den Spuren der Platten im Array abgestimmt sein.
Beim ESX4 ist das auch ein Thema, wenn man nen 2003er Server und älter von MS in eine vmdk Platte installiert.
MSXFAQ.DE - Diskpar
Hier gibts Lesestoff dazu...
Ist übrigens auch ein massiver Grund warum ein Array aus verschiedenen HDDs teils sehr sehr schlecht performt.

 

[bastelfreak]

Es Sind 2*ESX4, mit ESXi Lizenzen bei den Platten ist momentan auch Hitachi mein Favorit. Konnte man die VMs nicht auch über NFS einbinden? Ich meine da war mal was. Hohe Lasten von seiten der VMs liegen nicht dann. Es geht eher um den Aufbau der Netze, nicht wirkliche Datenbanksimulation oder ähnliches. Allerdings laufen die beiden Rechenknechte hin und wieder auf Lans als Multiserver, dann allerdings mit eingebauter HDD für VMs. Mir würde es auch reichen wenn die VMs alle auf dem Filer liegen und bei Bedarf wird die auf eine lokale HDD gezogen und direkt gestartet.
Zu den Cases: Gibts da eine gute Bezugsquelle. Finde fast nur Shops die die Cases mit Hardware verkaufen. Anbindung des Filers findet über mehrmals gbit Kupfer statt. LWL als Hausverkabelung schwirrt grad im Hinterkopf rum, ich hoffe ich kansn vergessen bevor ich es umsetzen möchte^^

 

[fdsonne]

Wenn du dir das zutraust und die nötige Technik für LWL parat hast, wäre auch das kein Problem, wenn auch vllt bisschen arg überdimensioniert.

Wenn es keine echten ESXen sind, sondern nur mit i Lizenzen aktivierten, brauchst du die Vorteile von einem externen Storage gar nicht, bzw. kannst diese sowieso nicht nutzen...
Von daher, würde ich klar auf interne Storages bauen, zwei 8 Port Controller und dann die Platten verteilen.
Mal ganz davon ab, was macht es für einen Sinn den ESX4 mit der i Lizenz zu nutzen? Ich sehe da sogut wie keinen, Nachteil ist aber, man kann die Kiste nicht patchen... Weil Patchen nur über den VCenter Server geht.


Der ESX kann prinzipiell erstmal mit NFS was anfangen, Problematisch dürfte wohl eher die andere Seite werden. Da brauchst du Software... Je nachdem ob Windows oder Linux als OS zum Einsatz kommt gestaltet sich das unter Umständen schwierig... Ich kenne für beides aus dem Hut jetzt nix.
Alles unter der Vorraussicht, du willst das als Ablageplatz für die vmdk Files haben...
Ein Image Speicherplatz kannst beispielsweise auch anders anhängen, aber das steht ja wohl weniger zur Debatte...

 

[bastelfreak]

Der Filer muss auf jedenfall dediziert sein da da auch andere Daten drauf lagern. Wies mit dem patchen etc steht weis ich grad nicht.

Da mir grad der Perc meine Seagates um die Ohren wirft werde ich wohl bald die Hitachis kaufen. Muss gringend alles backupn bevor mir zwei Platten gleichzeitig aussteigen.

 

[mrzylinder]

Hallo bastelfreak

Eine alternative zum chenbro Gehäuse wäre vielleicht ein Case von Supermicro.
Diese bekommst du auch ohne Hardware nur mit Sata/SAS Backplane.

Habe für mein "NAS" das supermicro SC836TQ-R800B (http://www.happyware.de/it-distribu...euse/supermicro-cse-836tq-r800b-gehaeuse.html)gekauft.

Ein paar Bilder findest du in meinem Thread
http://www.hardwareluxx.de/communit...er-update-27-09-09-a-641620.html#post12806870


Gruss Mr. Zylinder

 

[bastelfreak]

Das Supermicro ist auch nicht schlecht, nur brauche ich das verbaute netzteil nicht. Wenn das Spiel Schweden vs Tschechien zuende ist guck ich mal nach Bezusgquellen für das Chenbro und für das Supermicro ohne NT.

 

[fdsonne]

Der Filer muss auf jedenfall dediziert sein da da auch andere Daten drauf lagern. Wies mit dem patchen etc steht weis ich grad nicht.

Da mir grad der Perc meine Seagates um die Ohren wirft werde ich wohl bald die Hitachis kaufen. Muss gringend alles backupn bevor mir zwei Platten gleichzeitig aussteigen.

Backups solltest du sowieso fahren... Das RAID ersetzt bekanntlich kein Backup.

Aber wenn der Fileserver unbedingt dediziert sein muss, warum lässt du ihn dann nicht dediziert und baust dennoch eigenes Storage in die ESXen?
Wenn das komplette Storage der beiden ESXen vom Fileserver kommen soll, muss dieser richtig bumms an den Platten haben, auch ist da nicht viel mit lahmen 7,2k Platten. Dedizierte Lese/Schreibraten zählen da auch nicht (sprich ein Raid bringt keine nennenswerten Vorteile)
Kommt halt immer auf die Beanspruchung der Platten an...

Auch bleibt das Problem mit der Anbindung zwischen Fileserver und ESXen sollte nicht zu knapp gewählt sein und möglichst verzögerungsfrei realisiert sein.

 

[bastelfreak]

An Netzwerkperformance wird es nicht mangeln, hab genug Gbit-Karten hier liegen. Unter anderem 2*Dual Gbit Broadcom und eine Quad von HP. Vielleicht packe ich in die ESXen eigene Platten und speicher dann regelmäßig die VMs auf dem Raid, würde auch reichen. Kennt ihr eine bessere Bezugsquelle für den Chenbro als Chenbro RM414 4HE Storage Server Gehäuse mit 16 Port miniSAS Backplane für SATAII/SAS RM41416, 609,28 € - Schneider-Consulting-Elektronik - Server Komponenten Chenbro TST 3ware Zippy Seasonic ? Normale ATX Netzteile passen auch oder brauch ich dann noch spezielle Blenden?

 

[underclocker2k4]

Schneider ist doch OK.

Für dein NT -> 84H341410-012

http://www.server-bau-shop.de/Chenb...o-Servergehaeuse-RM41416-inkl--Backplane.html

 

[fdsonne]

An Netzwerkperformance wird es nicht mangeln, hab genug Gbit-Karten hier liegen. Unter anderem 2*Dual Gbit Broadcom und eine Quad von HP. Vielleicht packe ich in die ESXen eigene Platten und speicher dann regelmäßig die VMs auf dem Raid, würde auch reichen.

Nein du verstehst nicht worauf ich hinaus will. Nicht die sequenzielle Lese/Schreibrate zählt, die man mit Trunks auf den NICs ja erhöhen würde, sondern die Verzögerungszeit/Zugriffszeit auf die Platten. Gerade bei mehreren VMs.
Über LAN kommt da nochmal ein ganzer Batzen an Zeit oben drauf, was bei "langsamen" SATA Platten so schon recht lange dauert.
Gleichzeitige Zugriffe auf das Array (und das wäre ja bei einem großen RAID 5 und vielen VMs immer der Fall) bremsen massiv die Performance aus. Über LAN via iSCSI oder ähnliches wird das ganze nochmals massiv schlechter.
Für ne reine Testumgebung mag das vllt tragbar sein, aber ich würde dir eher Raten intern kleine Storages in die ESXen zu bauen VMs drauf laufen zu lassen...

Der dedizierte Fileserver ist aber auch so Sinnvoll wie du ja schon angemerkt hast.

 

[bastelfreak]

Jo hast Recht fdsonne, das Raid 5 wird wohl für echtzeitvms müll sein. werde mir das mit dme Chenbro mal gut überlegen, ist schon ein Batzen Geld. Mein Ausbilder hat sich die 2TB Samsungs bestellt, werde die nächste Woche mal testen. Eventuell sind die ja doch eine Option.

 

[fdsonne]

RAID 5 für Betriebssysteme und Datenbanken sowieso
Dann lieber RAID 10 oder aber mehrere RAID 1 Arrays. So verteilst du die Last. Da wie schon angesprochen sequenzielle Datenraten eher weniger bis gar keine Vorteile bringen, bringt dir auch ein einzelnes Array nicht wirklich was im Gegensatz zu mehreren kleinen.

Nachteil ist halt, man verliert die hälfte vom Speicherplatz...

 

[bastelfreak]

So, der wird nacher bestellt. Das Chenbro kommt in den nächsten Wochen. Von den Hitachis bekommm ich nachher ein Angebot für eine Massenbestellung, werde ca 20 Stück abnehmen wenn der Preis stimmt. Bei Interesse PN^^

 

[bastelfreak]

Das mit den Hitachis hat nciht geklappt, sind jetzt erstmal 8 Samsungs geworden (nur 5400rpm). Der Raidcontroller ist immernoch nicht da, gab da Lieferschwierigkeiten, sollte diese Woche kommen. Wann das case kommt weis ich noch nicht, ist schon ein ganzer Batzen Geld.

 

[Snuskhammer]

Interessantes Projekt.
Suche sowas auch für zu Hause, für meine ESX Anlage.
Welche Software/OS willst du für den Filer nehmen?

 

[bastelfreak]

OS ist Squeeze. Zugriff erfolgt über Samba und NFS.

€dit: Grad ein Angebot bekommen für das Chenbro Case. 450€ beim lokalen Händler meines Vertrauens. Werde ich mir wohl in den nächsten Wochen holn.

 

[pSyKoOlo]

@bastel

auch mit Backplanes schon dabei? dann haste nämlich n gutes Angebot ^^

GreEtz pSy

 

[bastelfreak]

Konnte mir der Händler leider nicht sagen, aber die Seriennummer stimmt mit den Cases bei anderen Shops überein, die haben alle eine Backplane. Werde da aber nochmal nachforschen. Ohne Backplane wäre das doof