17 Stunden bangen um 30 TB: QNAP Festplattentausch bei Read I/0 Error

IM EINSATZ?

Dann schau dir UNSEREN LOXKURS an und profitiere von unserem Wissen!

Eigentlich ist es unvermeidlich: Durch ständige mechanische Beanspruchung haben Festplatten eine beschränkte und auch bei guter Behandlung oftmals überschaubare Lebenszeit weniger Jahre. Sofern eine Festplatte unvorhergesehen stirbt, können jedoch Datenverluste durch geeignete Maßnahmen wie RAID und Nutzung eines NAS vermieden werden, sofern einige Voraussetzungen erfüllt sind.

Was beim Austausch einer defekten gegen eine neue Festplatte im Falle des QNAP TS-670 (siehe Pimp my QNAP TS-x70: I7-3770T und 16GB RAM) beachtet werden sollte und auf welche Weise die Verfügbarkeit relevanter Daten auch langfristig sichergestellt werden kann, wird im nachfolgenden Blogpost erläutert.

Warnung: Host: Drive1 Read I/O error

Am 31.10.2015 – und damit erst knapp 1 1/4 Jahre nach Erstinbetriebnahme – war es soweit: Eine der sechs am 27.07.2014 erworbenen und nur wenige Tage später im QNAP-NAS in Betrieb genommenen WD Red 6TB WD60EFRX (Affiliate-Link) machte erste Probleme. Bemerkbar machte sich dies – dank der fortwährenden Smart-Prüfung des QNAP-NAS (Fimware Version 4.1.4 vom 10.09.2015) – durch eine automatische Fehler-E-Mail, welche vom NAS versendet wurde.

QNAP Warning Drive 1 Read I0 error

Durch die Fehlermeldung

Host. Drive 1 Read I/O error. UNRECOVERED READ ERROR sense_key=0x3, asc=0x11, ascq=0x4, CDB=28 00 00 a0 9b 68 00 00 08 00

wird deutlich, dass bei Laufwerk 1 augenscheinlich ein irreparabler Lesefehler auftrat.

Direkt gefolgt von einer zweiten E-Mail, welche auf einen “mittleren Fehler” dieser Festplatte hinweist. Dabei gleich noch die Aufforderung, dass ein “bad block scan” durchgeführt und die Festplatte getauscht werden sollte, sofern der Fehler weiterhin bestehen bleibt.

QNAP Warning Drive1 Medium error

Nach kurzer Recherche – u.A. im QNAP Forum – war schnell klar, dass dies erste Anzeichen dafür sind, dass der unausweichliche Totalausfall der Festplatte vermutlich bevorsteht. Alternativ hätte auch noch der RAID-Controller (bei QNAP jedoch softwareseitig realisiert) bzw. die SATA-Festplattenanbindung selbst fehlerhaft sein können (dieses Problem hatte ich bereits bei einem Snyology NAS).

Da vereinzelt auftretende Fehler dieser Art jedoch nicht unbedingt unüblich sind und nicht zwangsläufig einen direkten Komplettausfall der Festplatte bedeuten müssen, ignorierte ich den Fehler vorerst, da auch der Datenträgerstatus des QNAP weiterhin “Gut” ausgab.

QNAP Datentraegerstatus Zusammenfassung Datentraeger 1 Gut

Als dann jedoch einige Stunden später gleich mehrere Fehler-E-Mails gleicher Art direkt nacheinander eintrudelten, war klar, dass das Problem wohl doch akuter war. Da das NAS bei der Nutzung von RAID 5 beim bevorstehenden Ausfall einer Festplatte quasi keinen weiteren Ausfallschutz besitzt, wurde das NAS kurzerhand komplett herunterzufahren, da ich zu diesem Zeitpunkt im 6.000 km entfernten Florida keine weiteren Schritte unternehmen wollte/konnte.

Ein mehr als unbefriedigendes Erlebnis sobald das 24/7 betriebene NAS temporär nicht mehr erreichbar ist, gerade dann, wenn es alle “lebenswichtigen” Dinge – von der “privaten Dropbox” (BTSync), den virtuellen Maschinen mit FHEM und verschiedenen Scripten, den regelmäßigen Backups des Blogs bis hin zum myPlex-Server – beheimatet.

Hinweis: Volume neu erstellen [Pool 1] startete

Zurück in der Heimat konnte das Problem dann nach drei zurückliegenden Wochen NAS-Downtime endlich in Angriff genommen werden. Damit ein sofortiger Austausch der defekten Festplatte möglich war, wurde vorab eine baugleiche WD Red 6 TB geordert, welche für den Tausch dann bereits bereitlag.

WD Red 6 TB in OVP

Nach Durchsicht der QNAP Hardware-Bedienungsanleitung unter “Kapitel 7. Festplatten im laufenden Betrieb auswechseln” (ab Seite 49) war dann auch klar, dass das QNAP TS-670 (Affiliate-Link) – wie fast alle NAS-Systeme von QNAP – Hot-Swap unterstützen und somit die Festplatte während des Betriebs getauscht werden kann/sollte.

Nachdem das NAS also nach der langen Zwangspause wieder hochgefahren war, konnte die defekte und doch bereits recht eingestaubte Festplatte im ersten Einschub entnommen werden.

QNAP TS-670 Ultra Tausch defekte Festplatte

Das NAS quittierte das Auswerfen über die QNAP-Oberfläche bereits nach wenigen Sekunden mit der Mitteilung:

Warnung: [Pool 1] RAID Group 1 is in degraded mode. Fehler: Host: Drive1 unplugged.

Zwei Alarmtöne, wie in der Bedienungsanleitung (Seite 50, Schritt 4) beschrieben, blieben dabei aus. Das liegt aber vermutlich daran, dass so gut wie alle Alarmsignale im QNAP-Interface deaktiviert sind.

Das QNAP-Systemprotokoll spuckte aber sogleich die Meldung aus:

Host: Drive1 Device removed successfully.
[Pool 1] RAID Group 1 is in degraded mode
Host. Drive 1 unplugged.

Die LED des NAS zeigte zusätzlich die Mitteilung:

Error Message NAS HDD1 Ejected

Nun also schleunigst die mit vier Schrauben im Tray befestigte defekte gegen die neue HDD tauschen…

QNAP TS-670 Tray HDD tauschen

und das Tray inkl. neuer Festplatte zurück ins NAS zurückschieben.

Nach wenigen Sekunden zeigte das NAS dann auch bereits die Benachrichtigung:

Hinweis: Festplatte erkannt NAS-Host. Festplatte 1 wurde erkannt.
Hinweis: Volume neu erstellen [Pool 1] startete

Das Systemprotokoll vermeldete nun:

Host: Drive 1 plugged in.
[Pool 1] Start rebuilding with RAID Group 1.

Weiterhin gab das Kontrollcenter den Hinweis aus:
Warnung – RAID-Gruppe 1 – das Volume ist im Notfallmodus. Details finden Sie im “Speichermanager”.

QNAP Systemzustand Warnung Notfallmodus

Jetzt hiess es also abwarten und Daumen drücken, da das NAS die vorhandenen Daten aller fünf verbliebenen Festplatten nutzen musste, um durch eine Quersummenberechnung die neue Festplatte zu rekonstruieren und das RAID wiederherzustellen (bei QNAP “Aktualisierung” genannt). Würde bei RAID 5 vor dem Abschluss der Rekonstruktionsphase jedoch nur eine weitere der verbliebenen fünf Festplatten einen Hardwaredefekt aufweisen, wären alle Daten unwiederbringlich verloren, in diesem Fall knapp 27 TB netto. Urgs!

Hinweis: Volume neu erstellen [Pool 1] ist abgeschlossen

Um es nicht zu spannend zu machen: Nach knapp 17 Stunden war der Wiederherstellungsvorgang glücklicherweise “schon” abgeschlossen, was bei der 6TB großen WD Red eine mittlere “Rebuild”-Geschwindigkeit von knapp 100 MB/s entspricht. Kein schlechter Wert, wobei vorher nicht notwendige Festplattenzugriffe durch das Beenden aller installierten QNAP-Apps gestoppt wurden, um die Wiederherstellung nicht unnötig zu verlängern.

QNAP Benachrichtigung Volume neu erstellen ist abgeschlossen

Der Fortschritt konnte dabei im Speichermanager unter Angabe des Recovery-Status live mitverfolgt werden.

QNAP Speicherpool 1 Aktualisierung 0.1 Prozent

Nach Abschluss der “Aktualisierung” (Wiederherstellung) wurde die neue Festplatte dann noch einem “normalen” und “umfassenden Test” unterzogen, welche ohne Fehler blieben. Beim nächsten Mal würde ich die neue Festplatte jedoch bereits vorher intensiv prüfen und nur dann den Einbau durchführen sowie den Wiederherstellungsvorgang starten, um mögliche Komplikationen beim Einbau einer etwaig defekten Festplatte zu vermeiden.

Garantieabwicklung durch Western Digital

Nach der geglückten Wiederherstellung stand nun noch die Garantieabwicklung der gerade getauschten und augenscheinlich defekten Festplatte bei Western Digital an. Für den Umtausch der WD Red 6TB WD60EFRX (Affiliate-Link), welche eine Herstellergarantie von drei Jahren hat, stellt WD ein Onlineportal zur Verfügung, für dessen Nutzung eine Vorabregistrierung notwendig ist.

Nach der anschließenden Registrierung der defekten Festplatte per Seriennummer und Angabe des Kaufdatums kann der RMA-Auftrag abgesetzt werden. In meinem Fall wurde der Vorgang jedoch erst einmal mit dem Fehler “There is an internal error while processing the request” abgebrochen, beim zweiten Mal funktionierte es aber ohne Probleme.

Western Digital WD RMA Detail Erfolgreich Eingesendet

Beim Vorabaustausch unter Angabe einer Kreditkarte dauerte die Zusendung der neuen Festplatte übrigens weniger als eine Woche. Die defekte Festplatte muss dann nur noch innerhalb von 30 Tagen auf eigene Kosten an WD zurückgeschickt werden, damit der temporär reservierte Betrag auf der Kreditkarte wieder freizugeben werden kann.

Als die neue Ersatzfestplatte geliefert wurde, war jedoch erst einmal Ernüchterung angesagt. Auf der Verpackung war die Aufschrift “Recertified HARD DRIVE” zu lesen.

Western Digital Recertified HARD DRIVE

Dabei handelt es sich gewöhnlich um wiederaufbereitete Festplatten mit schwarzem Label, denen generell keine lange Haltbarkeit zugesprochen wird.

Aber dann glücklicherweise die Entwarnung beim Öffnen des Pakets: Die gut verpackte Festplatte besitzt ein rotes Label, sodass von Neuware ausgegangen werden kann. Puh! Hier hätte ich sonst noch einmal bei WD nachgehakt und auf Neuware bestanden.

Western Digital RED

Besagte Festplatte wird jetzt einer intensiven Prüfung unterzogen und als Ersatz bereitgelegt, um künftig bei einem ähnlichen Fehlerfall einen zeitnahen Austausch zu gewährleisten.

Aus meinem täglichen Leben

Auch wenn die Speicherkapazität bei der Nutzung höherer RAID-Level verringert wird, werde ich wohl bei der Inbetriebnahme meines nächsten NAS gleich auf RAID 6 setzen und einen zusätzlichen “Speicher-Overhead” in Kauf nehmen. Dadurch kann dann der gleichzeitige Ausfall von bis zu zwei Festplatten kompensiert werden und nicht nur von einer Festplatte wie im Fall des aktuell eingesetzten RAID 5. Bei insgesamt sechs oder mehr Festplatten macht das aus meiner jetzigen Sicht absolut Sinn.

Grundsätzlich ist RAID 5 natürlich auch nicht wirklich schlecht und die Wahrscheinlichkeit, dass während des Rebuild eine weitere Festplatte abraucht, welche für die Wiederherstellung zwingend benötigt wird, ist auch überschaubar. Ich werde das Risiko aber künftig dennoch lieber durch den Einsatz von RAID 6 weiter verringern. Denn gerade beim Rebuild eines RAID-5- bzw. RAID-6-Systems sind die verbliebenen Festplatten unter Dauerstress, da alle Daten aller Festplatten ausgelesen werden müssen. Und sofern alle verbauten Festplatten in etwa gleich lange in Betrieb sind, ist die Wahrscheinlich zudem erhöht, dass diese einen ähnlichen Defekt im selben Zeitfenster aufweisen. Die Wahrscheinlichkeit wird dann sogar noch einmal erhöht, sofern alle Festplatten aus der selben Charge stammen. Und dies wiederum ist sehr wahrscheinlich, sofern die Festplatten zum selben Zeitpunkt von einem Händler erworben wurden.

Während der knapp 17 stündigen Wiederherstellungsphase hatte ich deshalb jedenfalls auch ein eher mittelmäßiges Gefühl und man wünscht sich eigentlich sofort, dass man doch lieber bereits auf RAID 6 gesetzt hätte. Aber es ging ja alles gut, diesmal.

Lustiger Fun-Fact am Rande: Obwohl das QNAP-NAS über eine aktivierte AES-Verschlüsselung verfügt, wollte ich sichergehen und die Daten der defekten Festplatte vor der Rücksendung an WD komplett formatieren. Über eine USB-Dockingstation (Affiliate-Link) an einem PC angeschlossen, brach die Formatierung dann jedoch nach kurzer Zeit ab, da das Volume unerwartet vom PC ausgeworfen wurde. Erst nach mehrmaligem Anlauf konnte die Festplatte komplett “genullt” werden, was definitiv dafür spricht, dass die Festplatte bereits keinen ordnungsgemäßen Betrieb mehr gewährleisten kann.

Insgesamt hätte die Wiederherstellung nicht einfacher laufen können. Dabei bin ich wirklich froh, dass die QNAP-Software unverzüglich und zuverlässig über den anstehenden Defekt per E-Mail informiert hat und so ein zeitnaher Austausch inkl. absolut reibungsfreier und selbstständiger Wiederherstellung des RAID möglich war.

Alle wichtigen Daten sind zwar mehrfach extern gesichert, die Rückspielung hätte aber sicherlich jede Menge Zeit in Anspruch genommen, vom Verlust “unwichtigerer” Daten und älterer Backups einmal ganz abgesehen. Die eher unkritischen Daten werde ich künftig aber zusätzlich verschlüsselt auf mehrere Seagate 8TB Festplatten (Affiliate-Link)  ablegen und im Schrank aufbewaren, man weiss ja nie.

Dazu habe ich auch schon ein bash-Script zum sequentiellen Kopieren der zu sichernden Daten gebastelt, welches die Backup-Festplatten der Reihe nach komplett befüllt und erst dann stoppt, sobald alle Dateien erfolgreich gesichert werden konnten. Sofern Interesse besteht, kann ich das Script gerne auch zur Verfügung stellen, sobald ich den ordnungsgemäßen Betrieb prüfen konnte.

Zum Schluss noch ein paar zusammenfassende Tipps zum Umgang mit Festplatten und NAS-Systemen:

Meine Tipps zum pfleglichen Umgang mit Festplatten

  • Erschütterungen unbedingt vermeiden (Aufstellungsort ohne “Anstoßgefahr” wählen)
  • Auf möglichst geringe Betriebstemperatur achten (Wärmeabfuhr durch Lüfter gewährleisten und Staub regelmäßig entfernen)
  • Geeignete Festplatten einsetzen, die für Dauerbetrieb und RAID-Umgebungen geeignet sind (spezielle NAS-Modelle -> z.B. WD RED bzw. WD RED PRO)

Meine Tipps beim Austausch defekter Festplatten

  • Intensive Vorabprüfung der Austauschfestplatte (Prüfen auf Fehler und etwaigem Testbetrieb)
  • Eine Austauschplatte bereits vor dem Defekt erwerben und bereitlegen (ist natürlich kostenintesiv)
  • Baugleiche Austauschfestplatte benutzen (selbe Größe, am besten selbe Firmware)
  • Baugleiche Festplatten aus unterschiedlichen Chargen verwenden (eher schwierig)
  • Hot-Swap-Fähigkeit des NAS-Systems prüfen (siehe Bedienungsanleitung)
  • Nicht notwendige Festplattenzugriffe während des Rebuilds vermeiden (wenn möglich alle Apps schließen und Freigaben trennen)
  • Garantieanspruch der defekten Festplatte prüfen und Austausch über Hersteller einleiten
  • Vor Rücksendung an den Hersteller versuchen alle Daten zu formatieren
  • Keine “Recertified”-Festplatten akzeptieren

Meine Tipps für Datenschutz durch Redundanz (RAID)

  • Bei NAS-System ab 2 Festplatten grundsätzlich RAID (niemals jedoch RAID 0) verwenden
  • 2 Festplatten -> RAID 1 (Ausfallsicherheit von einer Festplatte – Gesamtkapazität 1)
  • 3-5 Festplatten -> RAID 5 (Ausfallsicherheit von einer Festplatte – Gesamtkapazität n-1)
  • 5-12 Festplatten -> RAID 6 (Ausfallsicherheit von zwei Festplatten – Gesamtkapazität n-2)
  • Weitere Infos: Welches RAID Level wird benötigt

Meine Tipps bei der Datenspeicherung

  • Regelmäßige umfassende Smart-Prüfungen der Festplatten (alle Daten werden getestet – Dauer von mehreren Stunden)
  • Unbedingt auf NAS-geeignete Festplatten achten (sofern RAID und/oder Dauerbetrieb angedacht)
  • Zumindest alle wirklich wichtigen Daten zusätzlich sichern (externe Festplatte, DVD/BluRay)
  • Bei Backups am besten auf räumliche Trennung achten (Wohnungsbrand vernichtet alle “lokalen” Backups)
  • Nutzung von zusätzlichen inkrementellen Backup-Lösungen (z.B. CrashPlan)
  • Echtzeitspiegelung nur sofern alle Änderungen sofort relevant (zweites NAS z.B. per RSync)
37 Kommentare
  1. Hallo Jörg,

    schön, dass Du es noch rechtzeitig geschafft hast Deine Daten auf dem NAS “zu retten” bzw. deine HDD auszutauschen.
    Du erwähnst das bash Script zum sqeuenziellen Sichern der Daten. Ich hätte da schon Interesse dran.

    Und weil du kurz anschneidest was für Daten dein “Nappl” so beherbergt…
    Meinst Du du könntest mal so ein “walk-trough” machen und deine Infrastruktur aufzeigen?
    FHEM läuft bei Dir inzwischen in einer VM?
    Auf einem ESXi, oder im QNAP (Nappl) in der VM Geschichte da?
    Hostest Du den Blog auf dem Qnap (ich hoffe nicht) oder is da nur Dein Backup?

    Beste Grüße

    Holger

    1. Hi Holger,
      ich muss noch etwas am Script tunen und testen, da es doch recht komplex ist viele Daten automatisiert und verteilt auf mehrere Festplatten zu sichern und dabei möglichst viel verfügbaren Platz auf den Backup-Platten zu nutzen. Ich denke in einigen Tagen werde ich das Script hier veröffentlichen können.
      Einen kleinen “Walk-Through” meiner Hardware kann ich gerne auch auf die ToDo-Liste setzen, wobei viele Komponenten eigentlich laufend erneuert und neue Settings getestet werden. 🙂
      So läuft meine Haupt-FHEM-Instanz gerade auch noch per Ubuntu auf der Virtualization-Station des QNAP in einer von mehreren VMs. Ich werde FHEM aber demnächst wieder auf einen “dedizierten” RPi2 umziehen, da mir die lange Abwesenheit samt unplanmäßiger Downtime gezeigt hat, dass das NAS evtl. doch nicht die beste Infrastruktur dafür bietet.
      Der Blog wird im Rechenzentrum gehostet, nur ganz am Anfang im Jahr 2011 lief der Blog auf meinem damaligen QNAP 570 Pro. Das QNAP-NAS zieht aktuell einmal nachts ein komplettes Backup des Blogs samt aller Daten (WordPress Content + mySQl-Datenbank). Darüber hinaus beheimatet es – was den Blog betrifft – alle temporären Daten in mehreren Versionen wie Dokumente, Fotos und Videos in voller bzw. ursprünglicher Auflösung, Wasserzeichen etc.

      Grüße
      Jörg

    2. Hallo Jörg,

      Danke, sehr interessant…ich habe vor ein TVS-871 (Affiliate-Link) zu kaufen, diese Infos werden mir sicherlich helfen.
      Du sagtest, bald ziehst du “wieder auf einen “dedizierten” RPi2″ um…..hattest du nicht ein Intel NUC im Betrieb? Wäre ein NUC nicht eine bessere Lösung?

      Hattest du Probleme mit Gateways wie Jeelink & CUL in dem QNAP Ubuntu VM?

      Gruße,

      Oisin

    3. Hi Oisin,
      das TVS-871 ist mit Sicherheit ein grandioses NAS. Das hatte ich mir auch schon überlegt, da man es wohl auch ganz gut mit einem i7 und 16 GB Ram pimpen kann. 🙂
      Du hast Recht, ich hatte FHEM auch bereits auf einem Intel NUC im Einsatz. Das lief auch super und wesentlich besser als auf meinem damaligen RPI1. Mit dem wesentlich leistungsstärkeren RPI2 sehe ich für mich aber die Chance wieder auf ein Minimalsystem downzugraden. Gerade auch deswegen, da 90% der Logik im Hintergrund von Loxone (derzeitig mein führendes Smart-Home-System) abgewickelt wird und der FHEM-Server eigentlich nicht so viel zu tun hat außer die anfallanden Sensordaten an Loxone weiterzureichen und Daten für angebundene Aktoren entgegenzunehmen. Ich denke da gibt es aber kein richtig oder falsch. Christoph hat bspw. auch schon seit über einem Jahr FHEM auf einem NUC mit i3-Prozessor im Einsatz und ist super glücklich damit.
      Aktuell läuft bei mir FHEM noch in mehreren Ubuntu VMs (Produktiv- und Testsysteme) auf dem QNAP. Gateways sind dabei alle per Netzwerk angebunden und nicht per USB. Wollte mal kurz einen CUL-Stick anschließen. Das Durchreichen an die VM habe ich jedoch nicht auf Anhieb hinbekommen und es gleich wieder sein lassen. Habe immer Bauchweh am NAS rumzufrickeln, da ich aus Erfahrung weiss, wie schnell man da etwas zerschießen kann. Da bin ich technisch insgesamt wohl auch nicht tief genug drin.

      Grüße
      Jörg

    4. “grandios” klingt gut! Es würde sicherlich Spaß machen den i7 + 16GB RAM einzubauen!
      Ich frag mich bloß ob eine Skylake+DDR4 Variante auf dem Weg ist.
      Mehr Leistung für weniger Strom wäre schön…

    5. Hi Oisin,
      da hast du Recht. Technologisch hinken kommerzielle NAS-Systeme da leider immer mindestens mehrere Monate hinterher. Da sich die Hersteller meist recht bedeckt halten, ist es auch schwierig abzuschätzen, wann eine Technologie in einer neuen Modellreihe dann tatsächlich auf den Markt kommt. Ich würde zuschlagen, wenn Preis und Leistung für dich passen.

      Grüße
      Jörg

  2. Ein RAID5 mit 6x 6TB Festplatten ist schon sehr mutig 🙂 Es genügt ein einziger Lesefehler auf eine der übrigen Festplatten um die Wiederherstellung aus den Paritätsdaten zunichte zu machen. Ebenfalls sollte man beachten, dass wenn die erste Festplatte kaputt geht, die übrigen altersbedingt (oder weil aus gleicher Herstellerungs-Charge) ebenfalls anfällig sein können für weitere Defekte.

    Ein RAID6 mindert hierbei natürlich das Risiko, arbeitet aber immer noch mit Paritätsdaten. Daraus resultiert eine schlechtere Schreibleistung und eine sehr hohe Wiederherstellungszeit (ähnlich RAID5). Wenn man stattdessen RAID10 nutzt, muss lediglich eine Datenspiegelung wiederhergestellt werden, was definitiv schneller sein wird (dafür aber weniger Speicherplatz gemessen an den Kosten bietet).

    Hatte es eigentlich einen bestimmten Grund, warum du von Synology auf Qnap gewechselt bist (Frage aus reiner Neugier)? 🙂

    1. Hi Michael,
      da hast du völlig Recht. Ich hatte ja bereits im Blogpost angemerkt, dass ich speziell nach dem jetzigen Vorfall künftig bei mehr als 5 Festplatten direkt auf das unkritischere RAID 6 setzen werde.
      Das von dir angesprochene RAID 10 mag so seine Vorteile, u.A. bei der Geschwindigkeit (Zugriff und Rebuild) haben, da jedoch nur die Hälfte der gesamten Festplattenkapazität zur Verfügung steht, ist für mich ein konkretes Ausschlusskriterium. Aber keine Frage, es gibt auch Anwendungen, die ein solcher aufwändigeres RAID rechtfertigen.
      Gründe für den Wechsel von Synology auf QNAP gab es verschiedene.
      In Q3 2013 verschluckte mein damals erst wenige Monate altes Synology DS-1813+ schrittweise und OHNE jegliche Fehlermeldung gespeicherte Daten. Das hatte ich leider auch erst nach einigen Tagen zufällig gemerkt, als befüllte Ordner einfach so nacheinander verschwanden. Dabei hatte ich zufällig die rettende Idee, dass es vielleicht am erst kurz vorher in Betrieb genommenen Slot 7 liegen könnte.
      Nach dem Entfernen der HDD aus diesem Slot, was bei einem laufenden RAID-System auch erst einmal viel Mut gekostet hatte, hörte der unkontrollierte Löschvorgang glücklicherweise sofort auf und ich konnte die verbliebenen Daten extern sichern. So konnte der “Schaden” einigermaßen eingegrenzt werden, wobei ich damals nur wirklich wichtige Daten zusätzlich extern abgesichert hatte und somit auch einige Daten verloren gingen.
      Es hatte sich dann kurze Zeit später herausgestellt, dass tatsächlich der SATA-Anschluss von Port 7 defekt war und Daten bei der Übertragung von und zur HDD somit nach und nach im Nirvana landeten. Die Qualitätssicherung hatte hier jedenfalls versagt. Und die Tatsache, dass das NAS dabei keine einzige Fehlermeldung ausgespuckte, machte den Umstand nicht wirklich besser.
      Das mag ein absoluter Einzelfall gewesen sein und der Austausch durch Synology lief auch absolut reibungsfrei, dennoch wurde mein Vertrauen erstmal komplett ausradiert. Da lustigerweise mein gefühlt uraltes QNAP 509 mit gefühlt noch älteren Festplatten die temporäre Zwischenspeicherung der noch geretteten Daten ohne Murren meisterte, war es vermutlich auch ein Stück weit Bauchgefühl, dass ich mich wieder für QNAP entschied.
      Wobei mich das damals brandneue QNAP TS-670 auch sofort begeistern konnte, da ich gelesen hatte, dass die verbaute Celeron-CPU gesockelt war und sich somit augenscheinlich gegen einen leistungsfähigen i7 tauschen lies. Dabei fiel mir auch noch die Hardware AES-Verschlüsselung des i7 ins Auge und das NAS war direkt geordert. Der Upgrade verlief ohne Probleme und so wirkte das Synology mit softwarebasiertem AES erst recht wie eine Krücke, die es abzustoßen galt. Durch das komplett neue Austauschgerät konnte ich auch einen super Verkaufspreis erzielen und zahlte nicht allzu viel drauf.
      Soviel zu dieser Geschichte, wobei ich in der Zwischenzeit auch immer wieder gerne kleinere Synology-Systeme im privaten Umfeld in Betrieb genommen habe, das ungute Gefühl ist im Laufe der Zeit komplett verschwunden. Dabei gab es bisher auch keine weiteren Probleme, egal in welcher Form. Alles läuft stabil und die Snyology-UI ist aus meiner Sicht zudem immer noch ungeschlagen, wobei QNAP schrittweise aufholt, zumindest aus meinem Blickwinkel heraus.

      Grüße
      Jörg

      PS: Das war vermutlich meine ausführlichste Antwort ever 🙂

  3. Hallo Jörg,
    Gott sei Dank konntest du deine Daten retten. Ich habe bisher Glück das in meiner TS412 noch keine HDD sterben musste. Und das obwohl die HDD schon über drei Jahre alt sind.
    Hatte mir schon Sorgen um dich gemacht weil nichts neues auf deinem Blog passiert ist – aber wer Urlaub im sonnigen und warmen Florida macht, darf sein Blog kurzfristig “vernachlässigen” 😀

    1. Hi Dominik,
      ich bin ebenfalls mehr als froh, dass beim Recovery-Prozess alles reibungsfrei und vorallem so unkompliziert geklappt hat. Dabei fühle ich mich auch wieder etwas darin bestätigt weitestgehend auf kommerzielle NAS-Lösungen von QNAP bzw. Synology zu setzen, die zwar teurer sind als Bastellösungen aber solche kritischen Prozesse gewöhnlich anwenderfreundlich und ohne Terminal-Gefrickel im Griff haben.
      In meinem damaligen QNAP TS-509 hatte ich bis zu dessen Verkauf auch insgesamt fünf WD Green für knapp vier Jahre im Dauereinsatz und niemals auch nur ein einziges Problem. Bei mir sind zwar auch schon einige Festplatten im Notebook und Desktop-PC zerbröselt, aber bei vielen Erschütterungen ist das ein ganz anderes Thema.
      Was den Blog anbelangt, brauchst du dir natürlich keine Sorgen machen. Es sind jede Menge neue Artikel in der Pipeline und jetzt sollte auch endlich wieder etwas mehr Luft dafür sein, da ich zeitintensive “Projekte” glücklicherweise schon noch vor dem Urlaub abarbeiten konnte. Außerdem hat man in der dunklen Jahrezeit ja sowieso auch mehr Lust sich mit solchen Sachen zu beschäftigen. Insgesamt möchte ich Blogposts dabei auch nicht einfach so rausrotzen und da verzögern sich manche Dinge zusätzlich. Ich denke bzw. hoffe jedenfalls, dass Leser – wie du – die Qualität der Inhalte zu schätzen wissen. Die Zugriffszahlen und Interkationen nehmen jedenfalls kontinuierlich zu, was mich natürlich sehr freut.
      Würde mich natürlich freuen wenn auch du am Ball bleibst und hoffentlich bald deinen zweiten Kommentar abgibst. 🙂

      Grüße
      Jörg

    2. Dann bin ich mal gespannt was als nächstes kommen wird. Ich bin vorallem an deinen Smarthome-Themen interessiert. Würde mich ja freuen wenn mal die “weiße” Waren kommen wird 😉
      Nein ernsthaft. Super Blog von dir.
      Auch wenn ich nicht alles umsetze (z.B: mit Siri das Haus steuern), finde ich es interessant was für Möglichkeiten sich ergeben.

  4. Interessanter Beitrag! Zeigt wieder einmal, dass ein RAID eben auch keine 100%ige Sicherheit bietet. Daher darf man Backups eigentlich nicht so schleifen lassen. Ich verlasse mich aktuell auch auf mein RAID 1 (mit 2 Festplatten). Ob das so schlau ist, weiß ich nicht. Läuft aber auch erst ein paar Wochen. Backups schiebt man eben auch ganz gerne 😉

    Gut, dass alle Daten noch da sind. Und auch schön zu hören, dass WD sich da nicht quer stellt. Ich habe die 3TB WD-Red im Einsatz. Bisher sehr zufrieden. Aber mir ist in meinem ganzen Leben auch noch keine Festplatte gestorben. Zum Glück!

    1. Hi Matthias,
      stimmt. Genau das war auch meine Intension auf solche Sicherheitsrisiken hinzuweisen. RAID ist zwar nett, ein zusätzliches externes Backup darf aber eigentlich niemals fehlen. Dabei ist es immer wieder erschreckend zu sehen, wenn überall im Bekanntenkreis Fotos und Videos nur lokal auf einer einzigen internen PC-Platte “archiviert” werden, von der planlosen Ablage ganz zu schweigen, bei der kein normaler Mensch auch nur ansatzweise den Überblick behalten kann. Dann ist es im Grunde eigentlich auch schon egal, wenn die Platte nach spätestens einigen Jahren abschmiert, da gewünschte Inhalte sowieso unauffindbar sind.
      Evtl. kann ich eines meiner Scripte, welches die strukturierte Archivierung u.A. basierend auf Metainformationen automatisiert, auch einmal rundschleifen und auf dem Blog zur Verfügung stellen. Ich denke davon könnte im Grunde so ziemlich jeder profitieren, der Bilder und Videos per Smartphone und Digicam schießt.
      Dir jedenfall weiterhin viel Glück mit deinen WD-Reds! Und noch eine Frage zum Schluss: Du bist noch echt jung und hattest noch nicht viele Festplatten, oder? *g*

      Grüße
      Jörg

  5. Hi Jörg,

    ja, das kenne ich zu gut. Selbst meine Freundin kann ich irgendwie nicht zu richtiger Ordnung auf Ihrer Festplatte erziehen. Aber bin auf nem ganz guten Weg. Alles wird immer auf den Desktop geschmissen oder sonstwo gespeichert. Und am Ende findet sie nichts wieder. Genauso mit Passwörtern…. Aber anderes Thema 🙂

    Nein, im Ernst. In Sachen Festplatten habe ich noch keinen Totalausfall gehabt. Viel eher gingen mal ein paar externe Gehäuse kaputt. Ich habe noch Festplatten und USB-Sticks die Uralt sind und noch laufen. Die Frage ist, ab wann man sowas wirklich nicht mehr nutzen sollte 😀 Aber ich habe alles mindestens 2x – von daher sind alte Platten nicht so schlimm… Dazu kommt, dass die wenigsten im Dauerbetrieb waren.

    Dafür sind bei mir schon etliche SD-Karten gestorben. Davon habe ich aber auch eine Menge mehr.

    Insgesamt haben wir aber scheinbar recht viele gleiche Interessen 😉 Du bist E-Commerce Manager? Ich bin haupt- und nebenberuflich Magento-Entwickler 🙂

    1. Vielen Dank! 🙂
      Ich bin aktuell im Bereich E-Commerce unterwegs, richtig.
      Und auch so scheinen wir wirklich viele gemeinsame Interessen zu haben. Müssen uns unbedingt mal etwas austauschen. Hatte dir auch bereits eine Mail dazu geschickt. Würde mich sehr freuen, wenn wir die Tage mal quatschen könnten.

      Grüße und hoffentlich bis bald
      Jörg

  6. Servus Jörg,

    kurze Frage zu deinem Artikel. Wie oft läuft welche Prüfung auf deiner Qnap? Ich habe eine DS1515 und lasse nur jede Woche eine komplette Prüfung laufen.

    Gruß

    Sebastian

    1. Hi Sebastian,
      ich weiss nicht, ob mein Vorgehen in jedem Fall zu empfehlen ist. Da habe ich einfach keine wirkliche Erfahrung. Aktuell ist mein QNAP so eingestellt, dass alle Platten einmal pro Woche einem schnellen Test und einmal pro Monat einem umfassenden Test unterzogen werden. Diese umfassende Prüfung dauert dabei in etwa so lange wie ein Rebuild, also ca. 17 Stunden. Da möchte ich das eigentlich nicht jede Woche durchlaufen lassen, gerade auch weil sich die 17 Stunden schnell erhöhen sobald über Freigaben parallel auf die Platten zugegriffen wird.

      Grüße
      Jörg

  7. @Jörg, hast du kein Backup von deinen Daten? Wenn ich hier so die Kommentare lese, scheint immer noch nicht durchgerungen zu sein, das ein Raid der Verfügbarkeit dient, aber nicht der Sicherheit.
    Schlägt ein Blitz ein ist alles weg, oder wenn es brennt oder sonstwas und auch gegen ein Virus der Daten verschlüsselt hilft das nur bedingt.
    Also ein Backup sollte und muss immer sein, ich hebe meine auch räumlich getrennt auf.

    Für die Verfügbarkeit ist ein Raid super, am besten noch mit Spareplatte dann hätte das Ding im Urlaub auch weiterlaufen können. Dafür wäre das Raid eigtl. gedacht.

    1. Hi strauch,
      siehe Auszug von obigem Blogpost: “Alle wichtigen Daten sind zwar mehrfach extern gesichert, die Rückspielung hätte aber sicherlich jede Menge Zeit in Anspruch genommen, vom Verlust “unwichtigerer” Daten und älterer Backups einmal ganz abgesehen. Die eher unkritischen Daten werde ich künftig aber zusätzlich verschlüsselt auf mehrere Seagate 8TB Festplatten (Affiliate-Link) ablegen und im Schrank aufbewaren, man weiss ja nie.”
      Werde künftig dennoch auch auf RAID 6 setzen, um die Ausfallsicherheit nochmals zu erhöhen. Dann ist der Ausfall einer Platte im Grunde komplett unkritisch. Daneben wäre eine Spare-Platte sicherlich auch eine nette Idee, wobei das ja nochmal einen Steckplatz im NAS kostet. Und die sind ja eigentlich immer mehr als rahr.

      Grüße
      Jörg

    1. Hi Axel,
      da würde ich ich meinem Fall wohl Apfel mit Birnen vergleichen. Denn da würde ein 6-Bay QNAP TS-670 (Affiliate-Link) mit Intel i7 gegen ein 1-Bay Synology DS-112+ (Affiliate-Link) antreten. Die QNAP-Powermaschine konsumiert dabei mit 6x WD Red 6TB (Affiliate-Link) im Betrieb je nach HDD- und CPU-Auslastung knapp 40 bis 100 Watt. Das Synology hingegen nur ca. 15 bis 30 Watt, was aber auch nachvollziehbar ist. Vielleicht helfen dir diese groben Richtwerte schon etwas weiter.

      Grüße
      Jörg

  8. für alle die meinen ein RAID erhöhe die Sicherheit:

    NEIN, ein RAID erhöht die Verfügbarkeit und Ersetzt kein BACKUP !

    Wer mehr Sicherheit möchte sollte sich mit ZFS auseinandersetzen.

    1. Selbst ZFS hat im Grunde den gleichen Einsatzzweck wie ein normales RAID auch. Es mag natürlich aus technischer Sicht fortgeschrittener und besser sein, ändert aber nichts an der Tatsache, dass Backups selbstverständlich weiterhin notwendig sind. Menschliche Fehler sind leider nie auszuschliessen (z.B. Datei versehentlich geändert/gelöscht).

      @Jörg:
      Was macht eigentlich dein HP Microserver den du damals mit FreeNAS/ZFS eingerichtet hattest, ist dieser noch aktiv oder läuft derzeit alles über das Qnap?

  9. Und wo man schon darüber spricht, grade vor 2 Stunden ist mir in einem 4er Synology NAS ebenfalls eine Festplatte ausgestiegen 🙂 Natürlich keine Ersatz-Festplatte da wenn man diese braucht, also direkt mal mehrere bestellt, denn ich wollte den Speicher ohnehin mal erweitern. Gibt es eigentlich einen unkomplizierten Weg, ein RAID5 bestehend aus 4 Festplatten auf ein RAID6 mit 4 Festplatten zu bringen? Mir geht es insbesondere um die Synology-Einstellungen, damit diese erhalten bleiben. Die Daten kann ich auch über das Netzwerk temporär auf einen anderen Speicher sichern. Hat Synology da etwas unkompliziertes bei der Software vorgesehen, wo man per Klick sichern & wiederherstellen kann und anschliessend liegen dieselben Daten mit Rechten & Einstellungen auf dem neuen Volume?

  10. Hallo,

    Ich habe auch schon erlebt, dass ein Raid 10 versagt hat, obwohl nur eine Platte ausgestiegen ist. Generell kann man sagen: ab 4 HDDs Raid 6
    aber selbst ich bin so mutig mit 8 HDDs nur ein Raid 5 zu machen. Kann man aber auch dann machen wenn man die wichtigsten Daten auf Band hat. Was man auch immer mal im Auge behalten sollte, ist die Qualität der Festplatten. Ganz interessant ist hierzu https://www.backblaze.com/blog/hard-drive-reliability-q3-2015/

  11. Testest du neue Platten am/im NAS oder auf einem Rechner? Weil bisher kam es mir meistens so vor, als sei das NAS (in meinem Fall ein Synology) viel strenger als der Mac.
    Gruss und schöne Feiertage!

  12. Moin Jörg,
    ich habe fast das gleiche auch gerade durch gemacht. Allerdings bin ich Planmäßig von 6*3TB auf 4*6TB gewechselt.

    Mein Migrationsweg sah folgendermaßen aus:
    1) Alle meine Daten auf zwei von den neuen 6TB Daten kopiert (im USB 3.0 Case)
    Übertragungsrate dabei bei großen Dateien reale 180-220MB/sec.
    2) Dann die alten Disks aus der NAS entfernt und die beiden unbenutzten 6TB eingebaut.
    3) NAS mit einer vorherigen Sicherung wiederhergestellt und ein RAID1 aus den beiden neuen 6TB Platten gemacht
    4) Alle Daten von einer der 6TB-Backupplatten aus Punkt 1 in das neue Raid kopiert.
    5) Danach die Platte in das NAS eingebaut und das RAID1 zu RAID5 migriert.
    6) Danach die Daten der 2ten Backupplatte auf das jetzt RAID5 zurück kopiert.
    7) Hiernach erneut die vierte und letzte Platte in die NAS eingebaut und raid RAID5 entsprechend erweitert.

    Die Zeit die zwischendurch durch das Migrieren von Raid1 zu 5 oder das Erweitern des Raid benötigt wird ist wirklich extrem lang. Hier gibt es aber ordentlich Tuningmöglichkeiten. Die Beste beschreibe ich mal kurz:

    Erstmal kann man sich per
    cat /proc/mdstat
    regelmäßig den genauen Status des Raids ansehen, dort sieht man auch das der rebuild-Speed per default (bei mir mit der TS-670Ultra) nie über 50MB/sec liegt.

    Hierbei handelt es sich um einen Default-Limit des Kernels welches on-the-fly angepasst werden kann. Die Defaultwerte können wir so aulsesen:

    # cat /proc/sys/dev/raid/speed_limit_max
    50000
    # cat /proc/sys/dev/raid/speed_limit_min
    10000

    Durch ein einfaches Anpassen der Dateien erreichte ich auf einemal einen Rebuildspeed von etwa 180MB/sec:

    # echo 200000 > /proc/sys/dev/raid/speed_limit_max
    # echo 150000 > /proc/sys/dev/raid/speed_limit_min

    Hiermit war der Rebuild nach etwa 7Stunden abgeschlossen, anstatt wie vorher ~24h

    Ggf spart ihr damit ja auch etwas Zeit.

    Gruß
    Tom

    1. Die lese-&schreibgeschwindkeit der neuen Platten HGST Deskstar 6TB (7200RPM) (Affiliate-Link) im Raid5 gegenüber meinem alten 6* 3TB-WD-Green Verbund ist übrigends beachtlich:

      [~] # hdparm -tT /dev/md1
      /dev/md1:
      Timing cached reads: 55088 MB in 1.99 seconds = 27638.08 MB/sec
      Timing buffered disk reads: 1804 MB in 3.00 seconds = 601.30 MB/sec

      [~] # time dd if=/dev/zero of=/share/CACHEDEV1_DATA/temp/test.file count=1000000 bs=16396
      1000000+0 records in
      1000000+0 records out

      real 0m37.870s
      user 0m0.322s
      sys 0m14.069s
      entspricht 15,3GB in 37Sekunden = 413MB/sec schreibend

    2. Nachdem ich nun eine 5te 6TB Disk hinzugefügt und etwa 20h auf den reshape gewartet habe, habe ich noch bessere Transferraten:

      [~] # hdparm -tT /dev/md1
      /dev/md1:
      Timing cached reads: 51776 MB in 1.99 seconds = 25972.01 MB/sec
      Timing buffered disk reads: 2342 MB in 3.01 seconds = 778.84 MB/sec

      [~] # time dd if=/dev/zero of=/share/CACHEDEV1_DATA/temp/test.file count=1000000 bs=16396
      1000000+0 records in
      1000000+0 records out

      real 0m30.899s
      user 0m0.370s
      sys 0m14.658s

      = 16396000000 Byte in 30,8 Sekunden = 532mb/sec schreibend.

      Hat hier schon jemand erfahrungen mit 10GBit Ethernet? 🙂

    3. Auf welche Temperatur kommen denn die neuen 7200er HDDs in deinem NAS? Ich habe zur Zeit 5x 3TB WD Red verbaut, die liegen im Normalfall bei um die 29-31 Grad (bei stiller Lüftereinstellung im Synology DS1815+). Wäre interessant zu sehen, ob die schnelleren Festplatten da einen grossen Unterschied machen würden 🙂

  13. Hallo Jörg,

    Deine Blogs sind immer interessant.
    Ich überlege derzeit einen neuen NAS anzuschaffen. Derzeit habe ich eine QNAP TS219PII mit 2x 3TB. In Betrieb seit Jänner 2013.
    Da aber die Daten immer mehr werden und sich auch mit der Leistung im Netzwerk nicht zufrieden bin, will ich etwas leistungsfähiges. Hier Überlege ich noch.
    Die TS670 gibt es eigentlich nicht mehr. Finde jedoch die gesockelten Prozessoren interessant. Ich überlege auch eine 6 Bay NAS zu kaufen.
    Ich habe derzeit die TS 651 im Auge.

    Bezüglich Raid: Ich möchte wenn geht immer eine Software-Raid aufbauen, denn ich hatte schon mit einem Hardware Raid schlechte Erfahrungen. Raidcontroller hat versagt, alle Daten drauf sind weg. Gut dass es eine Datensicherung gab.
    Beim Software Raid habe ich zumindest zugriff drauf. Ich arbeite in der Firma immer mit Raid 1 mit zusätzlichen Kopien der Daten. Wenn im Raid eine Platte versagt, tausche ich immer beide aus.

    Auch bei meiner derzeitigen NAS habe ich immer eine Sicherheitskopie, die regelmässig per rsync Script aktualisiert wird.
    Die wichtigen Daten, sichere ich zusätzlich täglich mit einem rsync Snapshot Script 90 Tage zurück.

  14. Hallo Jörg,

    mutig ist der richtige Ausdruck bei 6x6TB Platten mit nur einer als Redundanz. Ich nehme an, Deine 6TB WD Red waren auch noch keine Red Pro, da die 6TB da erst später kamen? Dazu sollte man auch die Fehlerquote im SATA nachlesen, es wird einem dann mit dem “normalen” Bitrott schon ganz anders. 17h waren da gar nichts, sondern es ging wie im Bilderbuch.

    Empfehlung für das nächste NAS, nicht nur Raid 6, sondern:
    – bessere Platten (man muss dazu mal zu SATA und Desktopplatten (auch die preiswertere Red Variante) die Fehlerraten nachlesen
    – so etwas wie ZFS (z.B. Freenas) mitchecksums für alle Daten, nicht nur header
    – als Z2/Raid 6 äquivalent ausgelegt
    Sehr stabile Lösung, gutes Patching und gutes Bedieninterface. Scheduling aller möglicher Tests und Benachrichtigungen nach Bedarf. Software kostenlos (also der Kommentar ist keine Werbung :). Seit über einem Jahr nur gute Erfahrung damit.

  15. Für mich gilt immer, dass ich jegliche Hardware, die bei uns im Kleinbetrieb verbaut ist, einmal als Ersatz vorliegen habe. Im Falle von Festplatten bedeutet das, dass ich mindestens ein Exemplar größer als die aktuell verbauten Platten vorrätig habe. Wenn ich Platz im System habe, dann als Hotspare.

    P.S.: Auf WD verzichte ich schon ganz lange. Die einzigen Platten, die überdurchschnittliche Haltbarkeiten aufweisen, sind HGST. Hier ist der regelmäßige Test von Backblaze über 70.000 verbaute HDDs: http://www.pcgamer.com/backblaze-hard-drive-reliability-report-finds-hgst-drives-least-likely-to-fail/

  16. Danke für den Praxisbericht, den ich mit Interesse gelesen habe, da ich mich mit der Auslegung eines NAS auf Raidbasis (evtl. ZFS) beschäftige. Es ist tatsächlich wichtig sich mit der Ausfallwahrscheinlichkeit eines RAID im “degraded” Zustand zu beschäftigen, daher habe mir die Spezifikationen der WD Reds im 1TB-10TB Bereich angeschaut. Was mich ein wenig erstaunt hat ist das die Wahrscheinlichkeit eines non recoverable read errors (also das was man im degraded Zustand gar nicht gebrauchen kann) unabhängig von der Plattengröße bei < 1 bit pro 10^ 14 "gelesenen bits" beträgt. Bei einer 6 TB Platte hat man 6*10^12*8 = 0,48 * 10^14 Bits. Wenn ich das richtig verstehe (ein Statistiker möge mich berichtigen) haben wir also bei einer Platte eine Fehlerwahrscheinlickeit von 48% (!), wenn sie ganz voll wäre. Bei einem degrated Plattenpool ohne Redundanz (RAID5 oder RAIDZ1) von 3-4 Platten kann man schon von Glück sprechen, wenn beim Rekonstruieren des Raids nichts schief geht. Mein Fazit: ab TB-range Platten kommt man schnell in Bereiche, wo 2 bis sogar 3-fache Redundanz gefragt ist.
    Das führte mich zu der Entscheidung, dass ich von meinem beabsichtigten Microserver Projekt mit 4×4 TB Platten doch erstmal ablasse – hier wären IMHO 6 Platten (mit z.B. RAIDZ2) dringend sinnvoll.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Das könnte dir auch gefallen