Problème de débit

Bonjour,

Je possède actuellement une orange box, et a priori seulement deux PC en profitant : mon pc fixe, qui me sert en gros de "base" (c'est sur celui ci qu'est branché la box) et mon PC portable, qui lui est connecté a internet via cette box, en wi-fi

Mon problème, c'est que, il y a environ.. 2 mois, ma connexion en wi-fi etait assez rapide (enfin, relativement, pour mon village, j'oscillais entre 300kb/s et 500kb/s selon les jours). Depuis, je me suis installé ailleurs en tant qu'etudiant, sans connexion internet, et mes parents ont un nouveau voisin jeune et avec un ou deux PC (j'les ai vu quand il s'est installé u_u).
Là, ce weekend je rentre, tout content de pouvoir profiter de mes au moins 300kb/s et.. que dale. 20kb/s quand ça marche bien. Il a fallut que j'attende 4h du matin pour retrouver mes 400kb/s.
Ca peut venir de quoi?
Si c'etait un de mes voisins qui squattait ma Box en wi-fi, comment j'pourrais le savoir?
Comment j'pourrais l'en empêcher?

Merci, j'espère que j'ai été un peu clair..