Vielleicht sind die Settings einfach zu hoch und die Karte packt es einfach nicht?
Probier dich doch einmal manuell an die gewünschten Werte ranzutasten.
Ansonsten findest du hier Tools um deinen Grafikspeicher zu testen:
https://www.raymond.cc/blog/having-p...st-its-memory/