Négatif d'une image en c

Bonjour,
j'essaye de programmer le negatif d'une image en c et je comprends sa marche pas. En effet quand j'applique 2 fois le programme je ne retrouve pas l'image originale.
voici le code (les 54 premiers octets sont des entetes donc on s'en fou et apres ce sont les couleurs code de gauche à droite et haut en bas)

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

int main (int argc, char * argv[]) {

FILE *infile;
infile=fopen(argv[1],"r+");
int i;
i=0;

int p=1;
char j[1];

for(i=0;i<54;i++) {
fread(j,1,1,infile);
}

while (p!=0) {
p=fread(j,sizeof(char),1,infile);
*j=-*j;
fwrite(j,sizeof(char),1,infile);
}
fclose(infile);
return 0;
}