Routeur, modem, problème

Bonjour,

En ce moment, il s'avère que j'ai trois PC qui veulent être relié à internet, le problème, je n'en ai que deux à la fois qui sont branchés. Je suis en réseau CPL et non wifi du fait de la position géographique de ma box dans ma maison. J'ai déjà fait quelques recherches et chez numéricables (oui je sais fatale erreur, mais bref...) on m'a dit que le modem "n'a que deux adresses IP", et que c'est pour cela que j'ai un problème de connexion avec le troisième PC. Maintenant on m'a dit qu'il faudrait que je m'achète un routeur LAN, je ne connais absolument pas ce matériel, et est-ce bien raisonnable ?
Petite précisions : Mon modem est à la cave, et mes trois ordinateurs sont au deuxième, je branche donc un seul câble RJ45 sur le modem, et puis après je me démerde en haut pour branché les ordinateurs individuellement.
Le routeur "LAN" est-il vraiment indispensable ? Est-ce que cela va couté cher, et surtout, marcher, au vue de ma configuration actuelle ??

Merci