Projekt "RAID 55": Planung und welche Hardware?

[underclocker2k4]

Es gibt KEINEN. RAID55 in HW würde SO VIEL rechenpower verbrauchen, da kannste ne eigenene dual CPU nur für die parity abstellen. Mit der jetztigen XOR generation würdest du auf KEINE transferrate kommen.

 

[m0ep]

naja dann doch llieber nen controller übergreifendes raid6 array

ps.: sas controller können auch sata hdd bedienen, nur andersrum gehts nich

und rein theoretisch is raid55 nich so aufwendig brauchst aber ne menge bandbreite und ne art master controller der jedes chunk auf die controller aufteilt und dabei ne parity berechnet dazu berechnen die controller jeweils nochmal ihre parity


im grunde nen kaskadiertes raid5 array

 

[Fatal1ty]

naja dann doch llieber nen controller übergreifendes raid6 array

ps.: sas controller können auch sata hdd bedienen, nur andersrum gehts nich

und rein theoretisch is raid55 nich so aufwendig brauchst aber ne menge bandbreite und ne art master controller der jedes chunk auf die controller aufteilt und dabei ne parity berechnet dazu berechnen die controller jeweils nochmal ihre parity


im grunde nen kaskadiertes raid5 array

Wie hast du das jetzt mit dem RAID55 gemeint? Kannst des bitte nochmal genauer umschreiben?

 

[m0ep]

naja stell dir mal 3 controller vor + master controller und jeder dieser 3 controller repräsentiert einen teil eines raid5 array (praktisch wie nen riad5 aus 3 platten) der master controller teilt ein datenpaket in 2 datenpakete +parity auf und verteilt diese auf die einzelnen controller, deise wiedererum verteilen das datenpaket auf das auf ihnen eingerichtete raid5

hoffe das war verständlicher ,ansonsten muss ich da was malen ^^

allerdings wie underclocker schon angedeutet hat wäre a. der bus zeimlich stark belastet und b. bei dem master ne ordentliche leistung vonnöten, also müsste da ne ordentlich cpu ran zum crunchen

 

[underclocker2k4]

Das selbe was ich meinte. Nur das mein software array ein controller übernimmt. (den controller den du am anfang meintest) Diesen controller gibbet aber nicht. Du kannst natürlich einen entwickeln, aber dann bleibt es nicht bei den kosten die du so hast.

 

[Fatal1ty]

@m0peg
Kannst mir das bitte in ner kleinen Zeichnung veranschaulichen. Ich habs mir jetzt 3-mal durchgelesen, kanns mir aber irgendwie nicht vorstellen.
Weiss nicht. Bin eher der visuelle Typ.

 

[underclocker2k4]

HDD1 HDD2 HDD3 HDD4 HDD5 HDD6 HDD7 HDD8 HDD9
.....\.....|....../...........\.....|..... /............\.....|....../
.....RAID5#1................RAID5#2..............RAID5#3...........alles HW RAID
................\....................|................../
..................\..................|................/
....................\................|............../
......................\..............|............/
........................\............|........../
..........................\..........|......../
............................\........|....../
.............................MASTERRAID5
Erklärung zu "MASTERRAID5":
(m0ep nimmt HW controller, den es NICHT gibt)
(ich nehme RAID5 fähiges BS, was den controller per software realisiert)

 

[Fatal1ty]

Vielen Dank für die Zeichnung. Jetzt hab ichs kapiert.
Mit Windows Server 2003 als OS dürfte das doch möglich sein?
Was mich aber noch mehr reizen würde wäre das ganze unter Linux auf die Beine zu stellen. ist das neue SuSE dazu im Stande? Welche andere Linuxdistribution ist das noch im Stande zu bewältigen? Denke da noch an Fedora und Debian. Könnte das mit denen klappen?

Eine große Rechenleistung brauche ich ja nicht bei der OS-Lösung. Richtig?
Also wenn ich da nen Mainboard mit 2 Prozessoren nehme tuts das auch.
Nur beim Chipsatz bin ich da noch etwas überfordert.
Prozessormässig wurde mir Intel empfohlen. Aber es gibt viele Chipsätze von Intel. zb. gibts den Lindenhurst und den Tumwater und was weiss ich noch alles. Wenn man da nicht vom Fach ist, dann weiss man da nicht für welchen man sich entscheiden soll.

 

[m0ep]

für genug geld kann man alles bauen ^^

 

[Fatal1ty]

@m0peg
Natürlich. Aber irgendwann ist auch bei mir der Hahn zu.


Hat jemand ne Antwort auf meine oben gestellten Fragen?

 

[B$TIStalin]

was willst du eigentlich damit machen?

nen neuen torrent server bauen oder wat

ich denk nen opteron würde aber reichen von der leistung her wenn du nur daten lagern und sichern willst

 

[Fatal1ty]

@B$TIStalin
Tauschbörsen interessieren mich bei so einem Projekt nicht. Es geht um Codespeicherung.

@all
Also ich denke ich bleibe bei Intel. Und zwar soll es ein Xeon werden. Nur mit den Chipsätzen kenn ich mich da nicht so aus. Es gibt ja viele Chipsätze von Intel im Serverbereich. Was ist denn da nun zu empfehlen? Lindenhurst, Tumwater,...?

 

[Osiris-Storage]

Code nimmt doch sehr wenig Platz ein. Willst du jeden je entwickelten Code von Microsoft nehmen?!...

oder meintest du Kot?

 

[Fatal1ty]

Weiss dass Codes sehr wenig Platz einnehmen. Es sollen ja nicht "nur" Codes draufkommen sondern auch andere Sachen, die sich im Laufe von Jahren angehäuft haben. Mehr kann ich im Moment noch nicht sagen, da noch nicht alles fest steht.


Welchen Chipsatz soll man denn nun nehmen?

 

[DoubleJ]

Tumwater hat nen PEG-Slot, der Lindenhurst nicht...

Den Sinn eines RAID55 seh ich übrigens auch nicht. Nicht alles, was theoretisch möglich ist, muss gut sein... RAID6 und gut is. Um externe Backups wirst, wie schon oft gesagt wurde, auch nicht herumkommen (solange die Daten wirklich wichtig sind).

Controller, wie auch schon gesagt wurde, die Tekram/Areca:
http://www.geizhals.at/deutschland/?fs=tekram+pcie&x=0&y=0&in=

Sind so ziemlich die besten, die es momentan gibt.

Mit 16 WD RE2 400GB Platten und der 16-Port-Version bist du dann bei gut 4400€.
Dazu kommt dann halt noch eine passende Backup-Strategie (Bandlaufwerk?)

 

[Fatal1ty]

Tumwater hat nen PEG-Slot, der Lindenhurst nicht...

Controller, wie auch schon gesagt wurde, die Tekram/Areca:
http://www.geizhals.at/deutschland/?fs=tekram+pcie&x=0&y=0&in=

Sind so ziemlich die besten, die es momentan gibt.

Mit 16 WD RE2 400GB Platten und der 16-Port-Version bist du dann bei gut 4400€.

Was ist ein PEG-Slot? Hab schon gegoogelt, aber nichts erklärliches gefunden, sorry. Ist das dannn besser oder schlechter wenn ein PEG-Slot fehlt?

Meinst du die 16-Port-Version vom Tekram-Controller?

 

[DoubleJ]

Was ist ein PEG-Slot? Hab schon gegoogelt, aber nichts erklärliches gefunden, sorry.

30 Sek. Google ==> ">>Was ist ein PEG-Slot? > > PCI-Express for Graphics > Gemeint ist der x16 Slot."

Meinst du die 16-Port-Version vom Tekram-Controller?

Ja

 

[Fatal1ty]

Danke. Also ist der Tumwater eher zu empfehlen, als der Lindenhurst, da der Tumwater einen PCI-E-Slot mehr hat und ich 3-4 von denen brauche.

 

[DoubleJ]

Danke. Also ist der Tumwater eher zu empfehlen, als der Lindenhurst, da der Tumwater einen PCI-E-Slot mehr hat

Wer hat das gesagt? Manche TW Boards haben nur einen PCIe Slot, dafür ist das ein PEG..

und ich 3-4 von denen brauche.

Kommt ganz drauf an was du machen willst. Hängst du immernoch so sehr an der RAID55-Idee? Was ist denn mit einem RAID6? Was spricht deiner Meinung nach dagegen?

 

[Fatal1ty]

An RAID6 ist auch was dran. Es reizt mich aber ein RAID55-System auf die Beine zu stellen. Ist halt ne Herausforderung für mich. Desshalb das RAID55.

 

[DoubleJ]

Es reizt mich aber ein RAID55-System auf die Beine zu stellen. Ist halt ne Herausforderung für mich. Desshalb das RAID55.

Ja, das kann man nachvollziehen. Ist halt schön, wenn man "basteln" kann In dem Fall würde ich aber auf bewährtes setzen und mich nicht auf sinnlose Experimente einlassen...

 

[Osiris-Storage]

außerdem kostet das Unmengen von Geld. Hol dir 2 Dicke Controller und bastel 2 baugleiche Maschinen mit je RAID-5 oder 6 glaub mir hast mehr davon. Und wenn eine komplett abraucht haste die andere noch!

 

[underclocker2k4]

Kann mich meinen vorrednern nur anschließen. Wenn dir dein RAID55 durch einflüsse von außen zerstört wird, dann bist alle deine daten los. Dein 10k € teures storage system hat seinen zweck nicht erfüllt. Und dies geschieht häufiger als du denkst. Deswegen ist BACKUP pflicht. Und wie osiris vorgeschlagen hat, 2 gleiche RAID5(6) systeme kaufen/bauen und regelmäßig die daten von hand sychronisieren. Schon hast du nen backup und lebst WESENTLICH sicherer als mit deinem RAID55.

Wenn du experimentieren willst, sind deine daten nicht wirklich sicher oder du hast wirklich keine ahnung, auf wieviele tausend wege es gibt, wie man einen datenbestand innerhalb von minuten killt.

 

[Heimatloser]

Ihr müßt ihn auch mal wirklich unterstützen und gut zureden, statt ihn zu frustrieren.

Es ist schon eine besondere Leistung wenn sich endlich mal jemand die Mühe macht und alle Penthouse und Playboy Zeitschriften seit der ersten Ausgabe als Tiff einscannt und archiviert.

Das muß auch mal honoriert werden !

DerHeimatlose

 

[Sailor Moon]

Backup ist sowieso Pflicht. Reicht ja schon ein indirekter Blitzeinschlag und alles ist hinüber, übrigens egal ob mit oder ohne USV. Das kann schneller geschehen als man es sich vielleicht ausmalen wird. Insofern würde ich gerade in dem Bereich auch mal über entsprechende Konzepte nachdenken, wobei ein mehrstufiges Absicherungskonzept gegen Überspannung sehr teuer ist und die Kosten des Servers erheblich übersteigen wird.
Soll aber eine hohe Verfügbarkeit gegeben sein, die einzige Möglichkeit diese auch sicherzustellen. Ein Backup wird auch mit solcher Absicherung natürlich nicht ersetzt.

Und wie osiris vorgeschlagen hat, 2 gleiche RAID5(6) systeme kaufen/bauen und regelmäßig die daten von hand sychronisieren. Schon hast du nen backup und lebst WESENTLICH sicherer als mit deinem RAID55

Aufgrund obiger Überlegung ist das auch kein so wirkliches Backup, da im Ernstfall auch das "pulverisiert" ;-) werden wird.

Gruß

Denis

 

[Osiris-Storage]

jo erzählt ja nich wirklich was der wirkliche Datenbestand sein wird. Ich tippe auf größere Datenmassen von pornographischen "Materials"

naja is ok wir sind ja Männer

hm naja man muss es ja nich mal mit Hand Synchronisieren. Geht ja auch automatisch aber der 2. Könnte ja immer nur einmal ans (Strom-/Daten-)Netz angeschlossen werden für Sync. Somit ist er vor Blitzeinschlag und löschen geschützt, Weil nur an, wenn Sync.!!!

 

[Sailor Moon]

Könnte ja immer nur einmal ans (Strom-/Daten-)Netz angeschlossen werden für Sync. Somit ist er vor Blitzeinschlag und löschen geschützt, Weil nur an, wenn Sync.!!!

Zu dem Thema gab es mal eine NG Disukssion, aus der ich zitieren möchte; Steckerziehen reicht leider nicht:

ich sage jetzt mal einfach aus dem Stehgreif (denke kann aber auch eine Fundstelle nennen), bei einem Blitzeinschlag in der unmittelbaren Nähe wird aufgrund der starken Felder in alle umliegenden Metallteile eine (möglicherweise schädliche) Spannung induziert, die einen Stromfluß zur Folge hat. D.h. ein Gerät dessen Stecker gezogen wurde ist diesem Einfluß ebenfalls ausgesetzt und kann beschädigt werden. Überspannungsschutz ist immer eine Kette von Maßnahmen. Darum ist die beste Lösung eine Fachgerecht aufgebaute Blitzschutzanlage, bestehend aus:

- Blitzableiter auf dem Dach (je nach Gefährdungspotential)
- Vorhandener Potentialausgleich, mit vernünftig verlegten Erdungsleitungen (die, wenn quer durch Haus verlaufend, auch mechanische Beanspruchungen abkönnen)
- Grobschutz an der Einspeisung
- evtl. noch Mittelschutz
- Geräteschutzsteckdosen
- Zusätzliche Schutzmaßnahmen für TK-Anlage und Antenne

Und alles zusammen kostet natürlich viel Geld, klar. Jedoch deshalb nur einen Geräteschutzzwischenstecker a la Baumarkt oder eine online-USV zu setzen reicht leider insbesondere in ländlichen Gebieten nicht aus. Der Grobschutz an der (z.B. 63A) Einspeisung fängt schon mal das heftigste ab, sollte aber nur von Fachkräften installiert werden, die in das Installateurverzeichnis des EVU eingetragen sind.

Wer schon mal den Brandfleck an der Ausblasöffnung nach einem direkten Blitzeinschlag gesehen hat, wird verstehen, daß ein simpler Zwischenstecker danach wohl ziemlich alt aussehen dürfte."

=> Wenn ich mir also schon die Mühe mache und auf Datensicherheit viel Wert lege, wird man um ein solches Konzept nicht umhinkommen. Alles andere widerspräche sich irgendwie selbst. In Sachen Backup kann man bei der angestrebten Größe durchaus noch mit Bandlösungen arbeiten, die man dann am Besten nicht in derselben Wohnung lagert.

Gruß

Denis

 

[pyrix]

habe ich richtig verstanden das du das zeug in deinem zimmer haben willst?
Das gehört in nen gut klimatisierten serverraum oder willste regelmäßig platten wechseln?
Noch ne ordentliche USV kostet noch mal was.
Win 2k3 ist auch nicht gerade billig und du brauchst noch nen Server der die backups macht?
Willste deinen Ferrari unbedingt verkaufen? ^^

 

[Fatal1ty]

Da kommt kein por******** Material drauf, da ich für sowas keine Zeit habe. Da kommen sehr lange Codes, Pläne von verschiedenen Gebäuden Farzeugen, Flugzeugen, unter anderem auch Daten und Planungen milit. Ursprungs. Satellitenaufnahmen sollen auch darunter sein. So, nun habe ich fast schon zu viel verraten. Nun müsste das mit den Daten aber geklärt sein.
Von wegen por***** Material. Eure Sorgen möchte ich mal haben.
Wenn es nur das wäre. Dann bräuchte das ganze nicht so sicher sein. Dann wäre es mir wurscht, wenn das den Rhein runtergehen würde.

EDIT:
@all
Danke für euren Rat. Ihr habt mir sehr geholfen. Dann werde ich das fürs erste mal ausarbeiten. Wenn ich noch fragen habe, dann werde ich sicherlich hier noch posten.
Danke nochmal euch allen.

 

[underclocker2k4]

Sicherlich ist ein auslagern des backups das beste was man machen kann. Je nach grad der wichtigkeit der daten wird sogar mehrmals ausgelagert, aber ich denke, das ist nicht nötig.
Ich stelle es mir schwierig vor, 5TB jeweils zum backup hinzubringen und anschließend wieder weg. Wenn es nötig ist, muß man das machen, aber sonnst reicht auch nen tresor, in den der backuprechner kommt.