Comparer deux listes

Bonjour,

J'ai deux fichiers :
fichier1
fichier2

# cat fichier1
"1"
"2"
"3"
"4"

# cat fichier2
"2"
"4"

Je souhaite obtenir dans fichier3 les lignes de fichier1 qui ne sont pas dans fichier2 ... :

#cat fichier3
"1"
"3"

J'ai simplifié, mais fichier1 fait quelques centaines de milliers de lignes. Le format en revanche est identique, il s'agit de numéros entiers et uniques entre guillemets.

Merci d'avance