Connexion lente, serveur trop éloigné ?

Bonjour,
voilà, depuis que j'ai internet chez moi, c'est à dire longtemps, ma connexion a toujours été lente. Elle était à 50ko/s il y a un moment, puis s'est vue accroître à 70ko/s, puis 120ko/s, puis 150ko/s et actuellement elle monte à 240ko/s AU MAXIMUM, c 'est à dire qu'à cette vitesse plus aucune page ne s'ouvre. J'ai longtemps cherché, et je n'ai jamais trouvé de solution. Je suis chez Orange, et un ami est chez un autre opérateur (je ne sais plus lequel), et lui est à 1,2Mo/s en moyenne, parfois plus. Sachant qu'il habite à ... 100 mètres, même pas. En essayant tout à l'heure de tester ma bande passante (qui est à 2mo/s... lol.)
Le site (il n'est pas le seul à m'indiquer cela) indique le "serveur" à 70 ~ 80km de chez moi.
Donc voilà, ma question est, qu'est-ce que ce "serveur" ? 80km est-ce loin en terme de connexion ? Et ensuite, que puis-je faire pour résoudre ce "problème" si ce serveur est trop loin ? Merci d'avance pour vos réponses, j'espère avoir été assez clair.
C.f : http://www.speedtest.net/