Apparition et disparition d'un bouton au scroll

Salut salut,

aujourd'hui petit problème de jquery n'étant pas forcement le meilleur dans ce domaine car peux de temps pour m'y atteler j'ai fais une petit fonction en jquery pour faire apparaitre et disparaitre une div au scroll mais le problème c'est qu'elle disparait bien une fois que ce code est appliqué :

$(function () {

$(window).scroll(function () {

if ($(this).scrollTop() > 300 ) {

$("#retourHaut").animate({"opacity":"1"},500);

}

});
});

mais quand je rajoute un else donc :

$(function () {

$(window).scroll(function () {

if ($(this).scrollTop() > 300 ) {

$("#retourHaut").animate({"opacity":"1"},500);

}else{

$("#retourHaut").animate({"opacity":"0"},500);

}

});
});

he bien la petite div disparait et réparait mais dans un laps de temps trop long, tout est retardé.

Un petit conseil à me donner ?

Merci d'avance.