Am besten mal ein frisches Windows installieren auf einer Partition oder HDD. 2 Möglichkeiten gibt es hier: 1. Treibermurks, aber das klingt eher unwahrscheinlich. Das 2. wäre eben ein Hardwaredefekt. Das beschriebene Bild kenne ich zu gut vom GPU OC, wo eben das selbe passiert. Verhalten bei HD 5770, 9600/9500GT immer ähnlich, wenn man einen kritischen
OC Bereich betritt.
Mein Tipp wäre die Karte mal testen lassen. Wenn diese Online gekauft wurde die Garantie nutzen^^