Aide réseau via routeur

Bonjour, j'ai un petit problème.Alors voila j explique en gros la config
j'ai un modem relié a un hub(routeur) qui est relié a mes 2 pcs par des cables RJ45 droits.
Chaque pc se connecte a internet via ce routeur, tout ca c'est nickel mais maintenant j aimerais mettre mes 2 pcs en réseau.
Seulement voila , j'ai lu le forum etc et j'ai remarqué qu'a chaque fois on parlait de mettre des ip et passerelles fixes.
Mais, pour ma connexion internet , je dois mettre tout en 'automatique' dans le protocole tcp/ip(sur les 2 pcs).
Alors voila, y a t-il un moyen de créer un réseau comme cela, et si oui comment faire?
Je m'y connais pas du tout mais peut etre que le routeur a une ip fixe? et que je pourrais établir une connexion réseau entre les 2 Pcs via le routeur.