Wget

Résolu
sdblepas Messages postés 37 Statut Membre -  
sdblepas Messages postés 37 Statut Membre -
Salut
J'essaie de télécharger tout les .doc d'un site internet (libre de droit). Pour ca j'ai écris un petit script:
#!/bin/bash

for ((i=1;i<9999;i++));
do
#wget --random-wait -r -p -e -A '*.docb' robots=off -U mozilla "http://www.docgratuits.com/newsendoc.php?id=$i&format=doc"
Done

Ca marche mais chaque nouveau doc efface le précédent est ce que quelqu'un sait pourquoi?
Merci

3 réponses

  1. zipe31 Messages postés 34620 Date d'inscription   Statut Contributeur Dernière intervention   6 501
     
    Salut,

    -A '*.docb'
    C'est normal ce "b" en fin d'extension ?

    Essaye avec des quotes doubles :

    -A "*.doc"
    1
  2. sdblepas Messages postés 37 Statut Membre
     
    bonjour
    le b est une erreur de typo
    Ca fais pareil avec "
    MErci quand meme
    0
    1. zipe31 Messages postés 34620 Date d'inscription   Statut Contributeur Dernière intervention   6 501
       
      On peut avoir le lien vers la page en question, histoire de tester ?
      0
    2. sdblepas Messages postés 37 Statut Membre
       
      voila
      #!/bin/bash

      for ((i=1;i<9999;i++));
      do
      #wget --random-wait -r -p -e -A "*.epub" robots=off -U mozilla "http://www..com/.php?id=$i&format=epub"
      wget -r -l5 -k -E -A -O "*.epub" robots=off -U mozilla "http://www..com/.php?id=$i&format=epub"
      #wget -r -l5 -k -E -A -O '*.epub' "http://www..com/.php?id=$i&format=epub"
      #wget -r -l5 -k -E -A -O '*.epub' "http://www..com/.php?id=$i&format=epub"

      done
      j'ai fais plusieurs eesaie comme tu peux le voir

      Si j'enleve le param. -A .epub alors ca marche mais ca telecharge plein de fichier que je veux pas :)
      MERCI
      0
    3. zipe31 Messages postés 34620 Date d'inscription   Statut Contributeur Dernière intervention   6 501
       
      A mon avis c'est ta requête qui n'est pas bonne ;-\

      Chaque lien "newsendbook.php?id=$i&format=epub" correspond à une page unique (et non à une page avec ses descendances) qui plus est le numéro d'ID ne correspond pas forcément à ton extension ;-((

      Je ne pense pas d'ailleurs qu'il soit possible de faire ce que tu voulais au départ, une requête avec un format particulier, du moins avec cette commande ;-\
      0
    4. sdblepas Messages postés 37 Statut Membre
       
      c'est bizarre par ce que sans le -A ca marche bien mais il ne filtre pas les .epub et prend trop de fichier.
      peut etre si je rajoute a la fin du script une commande qui efface tout les fichiers qui ne sont pas des epub?
      0
  3. zipe31 Messages postés 34620 Date d'inscription   Statut Contributeur Dernière intervention   6 501
     
    Au cas ou tu n'aurais pas tout lu ;-((

    https://www.ebooksgratuits.com/notice_util.php

    Limitations de téléchargement
    
    Le nombre de téléchargements par personne et par jour, est limité à 25 avec, également, une limite de téléchargement globale, pour tout le site, par 24h. Et, de manière générale, nous vous demandons de ne télécharger que ce dont vous avez besoin sur le moment, de ne pas stocker... de répartir au maximum vos téléchargements (si vous essayez de télécharger plusieurs livres simultanément, votre adresse IP peut être bannie, car c'est dommageable pour nos serveurs). C'est à ce « prix » que nous pourrons rester gratuits...

    Merci pour eux et pour nous ;-)
    0
    1. sdblepas Messages postés 37 Statut Membre
       
      je n'avais effectivement pas lu ceci :) (vraiment en plus)
      je le marque en resolu et je vais enlever le script pour pas qu'on le prenne
      Merci
      0