Possibilité routeur wifi derrière freebox

Bonjour,

Pour des questions d'emplacement géographique, et pour avoir une connexion internet j'ai connecté 2 ordinateurs en wifi (802-11g) sur la carte wifi (802-11b) de la freebox version 4. Chaque ordinateur a sa connexion internet (en même temps ou bien sûr séparément). Par contre je n'arrive pas à faire communiquer entre eux les 2 ordinateurs.
J'ai pensé connecter un routeur wifi 802-11g sur la sortie ethernet de la freebox, afin de communiquer sur internet et faire communiquer mes 2 machines. Est-ce possible ? Quels sont les paramétrages de chaque ordinateur, le routeur et la freebox ? Quels matériel (pas cher) me conseillez-vous ?
J'ai un ordinateur de bureau Acer Aspire M5640 et un portable Packard Bell.
Mes 2 machines sont sous windows vista SP1.
Par avance merci de votre aide.