Compte bancaire clôturé

Bonjour,

Au mois de mai 2013, j'ai fermé mes 2 comptes bancaires (1 compte chèque courant et un PEL) au crédit agricole pour aller à la société générale.
Ces 2 comptes sont devenus des "dépôts à vue" le temps que les derniers prélèvements s'effectuent. (période de mai à fin juin environ).
Fin septembre, je m'aperçois que j'ai oublié de transmettre mes nouvelles coordonnées bancaires au trésor public qui tante de prélever sur mon ancien compte (toujours pas fermé) non approvisionné. Ce qui me vaut des frais de rejet etc.....

Le crédit agricole me demande de rembourser tous les frais de rejet de prélèvement depuis le mois de juillet alors que les comptes sont sensés être fermés depuis Mai 2013.

Que dois-je faire? que dit la loi?

(J'ai bien les papiers signés attestants la fermeture des 2 comptes datés de mai 2013)

Merci d'avance pour vos réponses,