[EoN]

Am besten geht das wenn Du eine neue Ebene erzeugst. Die zweite Ebene konvertierst Du dann in S/W. Bitte nicht einfach nur in Graustufen umwandeln sondern in Photoshop gibts den schönen Menüpunkt "Image" -> "Black & White". Hier kannst Du genau einstellen welche Farben wie stark ins S/W Bild mit einfließen. Ich denke mal in GIMP gibt es etwas ähnliches.
Dann erstellst Du auf der oberen Ebene eine Ebenenmaske und pinselst dann die Bereiche auf der Maske mit schwarzer Farbe frei, welche Du farbig haben möchtest.
Da Du die Pinselstärke wählen kannst und Du auch bei einer schwachen Stärke durch mehrmaliges drübergeben über die jeweilige Stelle eine satte Farbe erreichen kannst, werden die Übergänge von S/W zu Farbe schön weich und fallen nicht mehr auf.

Auf diese Weise habe ich bis jetzt immer alle meine ColorKey Bilder erstellt. Allerdings sollte man aufpassen, dass man mit dem Effekt in dem Bild nicht übertreibt.