Problèmes wifi sur certains appareils seulement

Bonjour,
J'ai depuis un bon moment des problèmes de wifi assez étranges. Aucun problème sur plusieurs ordinateurs chez moi, que ce soit en wifi ou en câble. Mais un des ordinateurs en wifi a le problème ainsi que 3 téléphones (2 iphone et un android) sur les 4 à la maison. Ca n'a aucune logique je sais.
Le problème est le suivant: au bout d'un certain temps, plus fréquemment avec les smartphones (environ 3 ou 4 min), le logo wifi a un point d'exclamation et plus d'internet. Le wifi ne se déconnecte pas mais il n'y a juste plus d'accès à internet. Ca dure assez longtemps pour que ce soit vraiment pénible, en particulier lors d'une vidéo ou un jeu. Au bout d'environ 30 sec, ca refonctionne sans aucune action à faire.
J'ai récemment changé de fournisseur et je suis passé d'orange à bouygues mais le problème est exactement le même. Le fait que ce ne soit pas reproductible d'un appareil à l'autre m'intrigue beaucoup et je n'ai aucune idée d'où peut venir le problème.
J'ai déjà essayé les trucs simples: oublier les réseaux, redémarrer la box...