Die USB-Anschlüsse an Monitoren sind "dumme" Hubs, damit kann ein Rechner verbunden werden, sonst nix.
Gibt durchaus KVM-Switches, die den Anforderungen entsprechen, wenn das denn nötig ist, aber 4 Ports is natürlich nich drin.
https://geizhals.de/?cat=kabelsw&xf=...2645_3840x2160
Wofür braucht man das aber? Alternativ bieten sich Logitech Drahtlos-Geräte an. Einfach noch extra Unifying-Receiver für jeden Rechner dazukaufen. (bzw. halt 08/15 Bluetooth-Geräte und Dongles dazu, aber da bekommt man auch viel Murks)
Ansonsten, wenn mindestens einer der Rechner immer an sein sollte, eventuell mal Synergy (2) versuchen.
https://symless.com/synergy?lang=de