Vacances partagées

Bonjour,
Mon problème est le suivant : le père de mon deuxième enfant, avec qui je n'ai pratiquement pas vécu, rechigne à la prendre la moitié des vacances scolaires prétextant le fait qu'il n'a pas beaucoup de vacances (ce qui n'est pas tout à fait juste mais bon...). Il avance aussi le fait qu'il n'est pas obligé. De plus il ne paye pas de pension alimentaire pour son enfant, car il veut bien "acheter" ponctuellement lorsque c'est nécessaire (mais il râle assez souvent). Je n'ai entrepris aucune démarche auprès d'un juge afin de fixer par écrit un arrangement, pour ne pas qu'il "prenne la mouche" et que son enfant puisse continuer à entretenir la meilleure relation possible. De plus, il me semble que la loi permet le droit de visite,mais pas le devoir de visite. Alors que faire ?