Ich hatte ein ähnliches Problem mit dem TV-Out: Der will bei mir auch nicht laufen, wenn ich für 640x480 und 800x600 mit dem Refresh Rate Fix vom RivaTuner mehr als die üblichen 60 Hz einstelle.
Diese ganzen Anti-60Hz-Bug-Dinger sind offenbar mehr oder weniger unzuverlässige Basteleien...