Débit différent sur la même box

Bonjour,

Je viens d'acquérir la nouvelle Freebox v6 depuis ma résiliation chez Orange.
Voilà tout c'est très bien déroulé depuis la réception de la box, un débit plutôt haut vu l'endroit où j'habite tout est OK.

Mais voilà nous sommes dans une petite maison sur 3 étages et pour tout vous dire, la box est au rez de chaussé et nous sommes (moi et mon frère) au 1er.

N'ayant aucune carte Wi-Fi et ne pouvant pas tirer de câble Ethernet dans toute la maison j'ai opté pour la solution CPL.

Seul soucis c'est qu'à la sortie des CPL nous n'avons qu'un seul câble Ethernet pour 2 PC's.
J'ai donc acheté un switch que j'ai relié à la sortie de ma CPL du 1er étage et branché nos deux PC's sur le switch.

Mon conseiller informatique m'a dit qu'il y aurait sans doute des pertes mais au départ tout allait bien j'avais un débit sur degrouptest de 10Mb/s.

Puis 2/3 jours après j'ai remarqué que mon frère avait un ping bien plus faible que le mien sur CSS ou COD (environ 20-10 ms et moi 50-40 ms). Puis aujourd'hui j'ai tester mon débit et il était à 7Mb/s et mon frère à 14Mb/s.
Nous avons un câble Ethernet de cat.5 chacun, j'ai un PC plus performant mais cela ne change rien.

Voilà donc j'aimerais savoir pourquoi le débit est différent entre nos deux PC et comment réglé cela afin d'avoir un partage équitable.

PS : Cela faisait pareil avec mon ancienne box (Orange) dans une autre maison, les deux câbles Ethernet étant directement branché sur les ports de la box.