Behalt deine Radeon und versuch die nvidia Karte noch irgendwo zu verscherbeln:
Test: 55 Grafikkarten im Benchmark-Vergleich - Direkter Grafikkarten-Vergleich (Seite 26) - HT4U.net[]=AMD+Radeon+HD+5770+%2F+HD+6770&prod[]=NVIDIA+GeForce+9800+GT+%2F+8800+GT&filter[0][]=1680&filter[0][]=1920&filter[2][]=1&filter[2][]=4&filter[2][]=8&filter[2][]=MLAA&filter[2][]=SSAA+%282x2%29&filter[3][]=1&filter[3][]=4&filter[3][]=16&aa=all
Wie gesagt, wenns nicht ums übertakten geht, brauchste nicht unbedingt so nen fetten Towerkühler. Vorallem weil die auch viel Platz brauchen, der von deinem Gehäuse erst mal bereitgestellt werden muss.
Unter den Grafikeinstellung veränderst du einfach mal den Antialiasing Wert bzw. Anisotropische Filter. Bzw. noch den Detailgrad. Wenns dir danach zu hässlich wird, kann mans ja immer noch nach oben schrauben, ist ja keine endgültige Einstellung.
Wenn das nicht hilft, dann muss halt doch ne andere Karte her.
Auf welcher Auflösung spielst du denn?