[UBUNTU 16.04] Impossible de se connecter en SSH depuis la VM

Bonjour,

Je suis sur une machine sous Ubuntu 16.04 (nous l’appellerons 'machine locale')sur laquelle est installée une VM depuis VirtualBox sous Debian (nous l'appellerons 'VM'). Cette VM me permet de travailler sur la même configuration que mon serveur de prod.

Depuis la machine locale, je peux me connecter en SSH sur ma VM avec cette commande :

ssh user@192.168.14.233

Je souhaite pouvoir faire la même chose en sens inverse, me connecter depuis la VM en ssh sur la machine locale.
Hors, si j'essaie de me connecter en SSH depuis ma VM :

ssh -vvvv user@192.168.14.54
OpenSSH_6.7p1 Debian-5+deb8u3, OpenSSL 1.0.1t  3 May 2016
debug1: Reading configuration data /etc/ssh/ssh_config
debug1: /etc/ssh/ssh_config line 19: Applying options for *
debug2: ssh_connect: needpriv 0
debug1: Connecting to 192.168.14.54 [192.168.14.54] port 22.
debug1: connect to address 192.168.14.54 port 22: Connection refused

Sur la machine locale, si je regarde les ports ouverts :

sudo netstat -anp | grep ssh
tcp        0      0 192.168.14.54:52344     192.168.14.233:22       ESTABLISHED 3498/ssh        
tcp        0      0 192.168.14.54:52342     192.168.14.233:22       ESTABLISHED 3491/ssh        
unix  2      [ ACC ]     STREAM     LISTENING     27655    1572/gnome-keyring- /run/user/1000/keyring/ssh
unix  3      [ ]         STREAM     CONNECTE      39816    3491/ssh            
unix  3      [ ]         STREAM     CONNECTE      39815    3493/sshfs          
unix  3      [ ]         STREAM     CONNECTE      39832    3491/ssh            
unix  3      [ ]         STREAM     CONNECTE      39833    1572/gnome-keyring- /run/user/1000/keyring/ssh
unix  3      [ ]         STREAM     CONNECTE      39846    1572/gnome-keyring- /run/user/1000/keyring/ssh
unix  3      [ ]         STREAM     CONNECTE      40862    3498/ssh            

Si je regarde sur la machine locale l'utilisation de ssh :

ps aux | grep -i ssh
nomdelamachine     3491  1.3  0.0  46012  6588 pts/17   Ss+  08:54   1:18 ssh -x -a -oClearAllForwardings=yes -oCompression=no -oNumberOfPasswordPrompts=1 -2 user@192.168.14.233 -s sftp

nomdelamachine     3493  2.0  0.5 1339524 86632 ?       Ssl  08:54   1:56 sshfs user@192.168.14.233:/home/XXX/home/nomdelamachine/XXX/XXXXX/ -o Compression=no -o password_stdin -o nonempty

nomdelamachine     3498  0.0  0.0  44920  5324 pts/4    S+   08:54   0:00 ssh user@192.168.14.233

nomdelamachine    10296  0.0  0.0  21320   976 pts/18   S+   10:31   0:00 grep --color=auto -i ssh

Si cela peut servir, voici une capture d'écran de la configuration réseau de la VM:


En effet, la machine locale est actuellement connecté en SSH sur la VM. Pourtant, il est possible de se connecter en SSH depuis la VM sur la machine locale en même temps ?

Je ne vois pas quoi essayer de plus.
Merci de votre aide :)