Connexion ethernet instable via prises murales

Bonjour,

Mon PC (fixe) est connecté à ma box en Ethernet via les prises murales :
PC - câble - prise murale - câble courant dans les murs - baie de brassage - câble - box

Lorsque je démarre mon PC, la plupart du temps, il n'arrive pas à se connecter (je n'ai pas accès à internet, et je ne peux pas pinger ma box).
Les messages d'erreur Windows ne sont pas toujours les mêmes : "réseau non identifié", "connecté, aucun accès à internet", et parfois même, aucun message d'erreur, mais impossible tout de même d’accéder à internet ni pinger ma box !
La box, elle, est bien connectée, puisque je n'ai aucun problème sur d'autres PC connectés en wifi.

Il suffit très souvent que je débranche le câble et que je le rebranche aussitôt pour que le PC parvienne à se connecter. Rarement, il faut que je fasse la manip 2x de suite.
Une fois la connexion rétablie, elle est stable et je n'ai pas de problème de débit.

Là où ça se corse, c'est que si je connecte mon PC directement à la box, aucun soucis de connexion.
Mais quand je me branche à une prise murale, le problème est présent quelque soit la prise de la maison.

Enfin, j'ai le même comportement avec 2 PC différents (tous les deux sous Windows 10, utilisant tous les deux l'interface Ethernet de leur carte mère, MSI dans les deux cas), ainsi qu'avec un MacBook Air (utilisant l'interface Ethernet d'un hub micro-USB Enklen).

Le problème ne semble donc ni venir du matériel, ni de la configuration, ni du câblage... Si quelqu'un a une idée, je suis tout ouïe :)
Merci d'avance !