Usufruit

Bonjour,
J'ai acheté et payé seule ma maison. Je me suis mariée en 2007 avec separations de biens afin de ne pas avoir de soucis avec nos heritiers respectifs et donne l'usufruit de ma maison à mon mari.
Devant le peut d'investissement qu'il a envers mon bien : je paie entre autre tous les travaux.
Je regrette donc de lui avoir laissé cet usufruit.
Puis je retirer cet usufruit auprès de ma notaire ?
Dans l'attente de votre réponse et cdit.