Ja es kann am Klinkenstecker liegen - aber normalerweise kenn ich es Anders herum.
Der mit den 3 Elementen (rechts - laut deiner Beschreibung von den Boxen) ist der normale Audio Stecker für Stereo.
Der mit den 4 Elementen (links = Kopfhörer) ist eigentlich nicht bei Kopfhörern, sondern bei Headsets üblich. Der Unterschied ist, dass Headsets ein Mikrofon haben - und genau dafür ist die 4. Kontaktfläche nötig.
siehe auch Wikipedia: Klinkenstecker
Am PC werden Mikrofone üblicherweise über einen zweiten 3,5mm Klinkenanschluss angeschlossen. Ob hier ein 4 polig 3,5mm Klinkenanschluss auch üblich ist weiß ich nicht. Wie es in Notebooks geregelt ist (die haben meist nur einen Anschluss) hab ich noch nicht hinterfragt - vermutlich sollte es aber ein 4 polig sein.
Den Effekt den Du hast ist, dass vermutlich 2 der Kontaktstellen gleichzeitig Kontakt haben. Das führt zu solchen Störungen. Bei mir war das aber eigentlich als ich einen 4 poligen Stecker in einem PC betreiben wollte.
Du könntest versuchen, ob ein Verlängerungskabel Abhilfe schafft. Bevor du was kaufst, einfach mal nen Stereo Kopfhörer anschließen (welcher auch nur nen 3 poligen Anschluss hat). Wenn der ebenfalls Störungen hat liegt es vermutlich an der Buchse (das da was unsauber gearbeitet wurde). Wenn das funktionieren sollte - dann schau Dir mal die beiden Stecker an - ob Du da nen Unterschied siehst. Wenn ja - dann könnte ein Verlängerungskabel helfen.
Ansonsten kannst Du auch gern mal ne andere Buchse am PC testen. Üblicherweise gibt es ja den Ausgang am Mainboard (hinten) und am IO-Panel vom Gehäuse (meist vorn oder oben).