Confidentialité : bloquer l'accès à ma messagerie à autrui

Bonjour,

J'ai un sérieux soucis de confidentialité de mes mails.

En effet, pour le boulot, j'ai une boîte gmail avec mot de passe. Classique. J'ai paramétré ce mail sur mon smartphone et je suis donc connecté 24h/24 à ma messagerie.
Rien de bien méchant, sauf que je ne suis pas le seul à y être connecté !

En effet, un collègue (qui veut tout savoir sur tout !) a obtenu mon mot de passe et a paramétré ma messagerie sur son Iphone. Depuis, il reçoit tous mes mails, ainsi que ceux que j'envoie. Pas top pour la confidentialité !

Que puis-je faire pour lui bloquer l'accès le plus discrètement possible ?

Je ne peux pas changer de mot de passe car ma Direction en a besoin aussi...

Merci de votre aide.