Einfach gesagt, hat der Router die Funktion, mehrere Rechner mit dem Internet zu verbinden. Der Access-Point ist speziell dafür gedacht, Wlan in ein vorhandenes Netzwerk zu integrieren. Allerdings gibt es massenhaft Router, die eine AP-Funktion integriert haben und auch nicht teurer sind. Daher würde ich mir an deiner Stelle so einen Router kaufen, wer weiß, vielleicht willst du irgendwann mal komplett auf Wlan umsteigen...?
Das mit der IP-Verteilung sollte eigentlich kein Problem sein, das wird von den Geräten automatisch ausgehandelt. Ich wollte damit sagen: WENN es dann zu einem Problem kommen sollte, kannst du dich ja wieder melden
LG
EDIT: Du musst den Router/AP ja nicht in den Keller stellen. Die Verbindung wird über ein normales Ethernetkabel hergestellt (bei älteren Modellen ein twistet Kabel, bei aktuellen Modellen ist das egal).