ich habe mal wieder mit meinen Festplatten (unter Linux) Probleme.
Ich habe verschiedene Festplatten an/in meinem Server unter anderem eine SSD, für das Root System, und verschiedene Daten-Platten bzw. für VM's.
Angeschlossen sind 4 intern am Mainboard (Gigabyte 970A-DS3P mit 24GB RAM) , 4 über einen PCIe SATA Controller (in einem 4x3.5" Wechselrahmen in einem 5.25" Slot) und 4 per USB (externes Gehäuse, eSATA wäre auch möglich, aber die Karte mit dem Port-Multiplexer macht auch anscheinend Probleme, deshalb per USB...).
Die 4 Festplatten (inkl. der SSD) am Mainboard sind über Wechselrahmen im Gehäuse an 2 Backplanes angeschlossen.
So... jetzt habe ich z.B. mit der SSD und einer HDD am internen Port öfter Probleme, weil sie statt mit SATA3 (wie sie es könnten) nur mit SATA2 angesprochen werden. Auch gibt es öfter mal Fehlermeldungen (dmesg) beim Booten. Die Festplatten laufen aber an einem anderem System problemlos!
Nun gibt es wohl nur drei Möglichkeiten!
a) das Mainboard hat ein Problem (SATA), aber es ist noch nicht so lange her, dass ich es gekauft habe.
b) ich habe irgend wo gelesen, dass die SATA Kabel auch Probleme machen können.
c) 8 Festplatten im System werden von einem Netzteil versorgt. Könnte dies evtl. zu viel für das Netzteil sein? Dann müsste ich noch ein 2. Netzteil anschließen.
Die Grafikkarte im System ist ganz einfach, da ich keine grafische Oberfläche benutze und alles per Terminal/SSH mache.
CPU ist eine AMD FX8300.
Hat jemand eine Idee, oder Tipps?
Bisher lief es lange recht stabil, aber jetzt auf einmal gibt es wieder ständig Probleme. Es wurde aber praktisch nichts geändert.
ja das ist eine gute Frage. Das weiß ich eben nicht.
Kurz noch mal zur Konfiguration.
Insgesamt habe ich 12 Festplatten!
Davon einige 500GB die im (Software-)Raid1 laufen. Nur eine größere Festplatte für Backups. Die SSD hat nur 120GB und da läuft das Linux System drauf.
4 Festplatten (inkl. SSD an Port 0) auf dem Mainboard SATA
4 Festplatten auf einem PCIe SATA3 Controller
4 Festplatten extern in einem USB Gehäuse (das aber auch eSATA könnte, läuft aber nicht so stabil, deshalb USB3).
Ich werde jetzt mal zum Test ein altes Netzteil für 4 interne Festplatten benutzen. Vielleicht ist es doch zu viel, 8 Festplatten und das System mit einem Netzteil zu versorgen.
Ich werde jetzt mal zum Test ein altes Netzteil für 4 interne Festplatten benutzen. Vielleicht ist es doch zu viel, 8 Festplatten und das System mit einem Netzteil zu versorgen.
Kannst du natürlich mal versuchen, halte ich aber eher für unwahrscheinlich. Wenn dann würden die Festplatten dann ja gar nicht anlaufen, aber dass eine statt dessen dann mit SATA2 statt 3 läuft? Macht nicht so richtig Sinn.
Laufen die Festplatten beim Anschalten sofort an oder alle nacheinander (kann man im Controller ja meist einstellen, und man hört das Anlaufen ja)?
Denn wenn alle gleichzeitig anlaufen und es da kein Problem gibt, dann ist sicher genug Leistung da, denn beim Anlaufen zieht eine Festplatte ja das 3-4-Fache an Strom als im normalen Betrieb. Du könntest ja testweise mal das verzögerte Hochfahren der Festplatten aktivieren, dann dauert das Booten zwar viel länger, wenn da 8 Festplatten mit je ein paar Sekunden Verzögerung erst anlaufen, aber vielleicht ändert das was.
@DaKarl
Leider kann ich das nicht einstellen, aber ich glaube, sie starten etwas verzögert (nach Gehör...).
Wenn das Booten länger dauert, macht es auch nichts. Der Server läuft eh 24/7 und wird nur im Notfall neu gestartet.
Anscheinend machen die Festplatten am internen (Mainboard) Anschluss die meisten Probleme. Das wundert mich wirklich. Aber sie sind über zwei BackPlanes (vom Gehäuse-Wechselrahmen intern... https://www.inter-tech.de/products/a...8-aspirator-ii - ich hatte für den HD-Rack extra einen 2. Wechsel-Rahmen Satz mit 2. BackPlane dazu gekauft... ) angeschlossen. Ob es ein Problem mit den BackPlanes gibt?
Was mich im Moment wirklich wundert, ist die folgende System-Meldung (regelmäßig!!!).
Code:
[Thu Dec 6 07:13:14 2018] ata1.00: failed command: WRITE FPDMA QUEUED
[Thu Dec 6 07:13:14 2018] ata1.00: cmd 61/90:f0:08:c8:98/09:00:04:00:00/40 tag 30 ncq dma 1253376 ou
res 40/00:00:00:00:00/00:00:00:00:00/00 Emask 0x10 (ATA bus error)
[Thu Dec 6 07:13:14 2018] ata1.00: status: { DRDY }
[Thu Dec 6 07:13:14 2018] ata1: hard resetting link
[Thu Dec 6 07:13:15 2018] ata1: SATA link up 3.0 Gbps (SStatus 123 SControl 320)
[Thu Dec 6 07:13:15 2018] ata1.00: configured for UDMA/133
[Thu Dec 6 07:13:15 2018] ata1: EH complete
Die SSD ist aber in Ordnung. Auch smartctl meldet keine Probleme mit der SSD. Trotzdem wird sie immer wieder auf SATA2 runter gesetzt, obwohl sie SATA3 kann.
Code:
SATA Version is: SATA 3.0, 6.0 Gb/s (current: 3.0 Gb/s)
Vielleicht doch mal andere SATA Kabel besorgen?
Alternative könnte ich die SSD (oder HDDs) mal über einen Adaptec 5405 RAID Controller anschließen, den ich hier noch herum liegen habe. Ein passendes 4-Port Kabel für SATA habe ich auch hier herum liegen. Aber der kann von Haus aus nur 3GB pro Port. Also nur SATA2.
Doch dann könnte ich sehen, ob noch Fehler auftauchen. Und der Adaptec Controller kann besser eingestellt werden im eigenem Bios.
Das andere ist da steht ja auch es ist SATA 3 aber mit nur 3 Gbit.
Nein, nicht ganz richtig. Es bedeutet, die Festplatte kann sowohl SATA2 (3GB) und SATA3 (6GB), wird aber nur auf SATA2 angesprochen, obwohl der Anschluss auch SATA3 kann, aber eben Fehler auftreten!
Das ist ja das seltsame! Die Fehler kommen aber nicht direkt von der Festplatte (SSD), da ich diese an einem anderem System ohne Probleme mit SATA3 (6GB) laufen habe.
Diesen Fehler hier verstehe ich eben nicht. Wodurch wird der verursacht?
"failed command: WRITE FPDMA QUEUED ... (ATA bus error)"
Denn das verursacht wohl das runterschalten auf 3GB (SATA2).
In diesem Fall (die SSD an Port 0) scheint das nicht so dramatisch, obwohl die SSD besser mit 6GB laufen würde.
Bei anderen HDDs kommt es aber zu dramatischeren Fehlern. Warum auch immer... die Festplatten sind ok. Zumindest laut smartctl.
Edit:
Hier mal ein Zitat aus einem anderem Forum...
Zitat:
Yesterday I purchased a new unit of the same model of hard drive (manufactured in December 2,014 instead of in February 2,104). I copied my data from the older disk to the newer one and tested it. It worked fine. This morning I've turned my computer on, but the same error has arisen!!! :S
I'm really surprised. Days ago I replaced the cables of this disk by the ones of other of my hard drives, one which works OK (a Samsung SpinPoint F2). But it failed too, so I discarded that it was a faulty cable. Could it be an issue between the model of my motherboard and the model of the disk?
PS: in both units the SMART UDMA_CRC_Error_Count counter has increased.
Ich würde echt auf das Kabel tippen mehr fällt mir da aktuell nicht ein.
Vermute ich langsam auch. Denn das Netzteil hat keine Änderung gebracht.
Ich versuche es jetzt noch mit dem Adaptec RAID Controller, wenn es da ohne Probleme läuft, kann ich nur noch die SATA Kabel vermuten.
Edit:
Noch mal ein Nachtrag... wenn auch noch keine richtige Lösung!
Das 2. Netzteil hat keine Besserung gebracht. Also daran lag es nicht!
Ich habe das System dann von der SSD auf eine andere Festplatte kopierte und diese eingesteckt. Aber, die BackPlane im Rack des Gehäuses hat erst mal verhindert, dass die Platte erkannt wurde!!! Also Festplatte direkt am Kabel angeschlossen und das System gestartet. Und siehe da, exakt der gleiche Fehler wie oben bei der SSD! Also neues Kabel besorgen! Wenn es dann immer noch Probleme gibt, vermute ich einen Schaden am Mainboard bzw. Probleme mit dem SATA.
Den Adaptec Raid Controller konnte ich leider nicht anschlißen, da ich dafür einen zusätzlichen PCIe x4/x8 Anschluss brauche, aber nur noch 3 x1 und 2 x PCI übrig habe.
Edit sagt zum zweiten:
Hah! Strange!
Ich habe jetzt wieder die SSD angeschlossen. DIREKT an den SATA Port (Ohne 3.5" Adapter-Rahmen und ohne BackPlane) mit anderem Kabel und siehe da! LÄUFT mit SATA3 und KEINE Fehlermeldungen!
Jetzt bin ich mal gespannt, ob das länger so läuft!
Nach dem eine Festplatten an den internen (MainBoard) SATA Ports und an der Gehäuse Rack BackPlane ausgetauscht wurde, bekomme ich wieder diese ominöse Fehlermeldung "failed command: WRITE FPDMA QUEUED".
Diese Woche kommen (hoffentlich) noch 4 neue SATA3 Kabel (extra als 6GB/SATA3 Kabel ausgezeichnet!) und ich probiere diese aus.
Falls die Fehlermeldung dann weiterhin besteht, ist 100% die BackPlane des Gehäuses schuld und ich bin ziemlich ange****t.
Hintergund meiner Frage ist: Ich hatte mir vor kurzem eine Samsung 860 Evo SSD (SATA) 500GB gekauft. Diese zeigte dann in Spielen Performance-Probleme (Hänger für 1-2 Minuten). Es zeigte sich, dass die SSD nach wenigen Tagen Benutzung (ausschließlich Gaming+Video) ziemlich viele CRC-Fehler (C7-Wert) liefert. Selbst der VLC-Player hatte teils kleinere Hänger.
Nach einiger Recherche im Netz fand ich heraus, dass die Samsung SATA-SSDs technische Probleme mit der AMD-SB850/950 und einigen AsMedia-SATA-Controllern hat. Soll wohl die AHCI Spezifikation "NCQ" betreffen. Jedenfalls sind bei mir die 4k-64Thrd oder 4k-Q32 Werte extrem niedrig ausgefallen im Benchmark-Test (AS SSD Bench, Crystal DiskMark).
Lösung soll die Verwendung des M$-SATA-Treibers oder eines alternativen SATA-Controllers (z.B. Marvell) sein. Bei mir half die Treiberänderung nicht.
Am Marvell-Controller läuft die 860 Evo nun nur noch bis max. 390 MB/s statt 540 MB/s, aber dafür sind die 4k-64Thrd/4k-Q32 Werte von 1,5 MB/s auf ~150MB/s angestiegen.
Ich hatte auch erst das SATA-Kabel im Verdacht, aber durch Gegentesten in verschiedenen Szenarien an beiden Controllern konnte ich die Fehler verlässlich reproduzieren bzw. ausschließen.
Meine Samsung 850 Pro verhält sich nicht so wie die 860 Evo bezügl. der Performance (Hänger), hat aber ebenfalls sehr viele CRC/DMA-Fehler.
Meine Crucial MX200 (MLC) ist davon nicht betroffen & performt mit AMD-SB950 super!
Dies bezieht sich natürlich nur auf die SSD in Deinem System.
Bin gespannt, was Du herausfindest ... oder sind Deine Probleme schon gelöst?
SATA3->2 Probleme und Ausfälle... 
Linear-Darstellung
