Wget

Résolu
sdblepas Messages postés 33 Date d'inscription   Statut Membre Dernière intervention   -  
sdblepas Messages postés 33 Date d'inscription   Statut Membre Dernière intervention   -
Salut
J'essaie de télécharger tout les .doc d'un site internet (libre de droit). Pour ca j'ai écris un petit script:
#!/bin/bash

for ((i=1;i<9999;i++));
do
#wget --random-wait -r -p -e -A '*.docb' robots=off -U mozilla "http://www.docgratuits.com/newsendoc.php?id=$i&format=doc"
Done

Ca marche mais chaque nouveau doc efface le précédent est ce que quelqu'un sait pourquoi?
Merci




3 réponses

zipe31 Messages postés 36402 Date d'inscription   Statut Contributeur Dernière intervention   6 431
 
Salut,

-A '*.docb'
C'est normal ce "b" en fin d'extension ?

Essaye avec des quotes doubles :

-A "*.doc"
1
sdblepas Messages postés 33 Date d'inscription   Statut Membre Dernière intervention  
 
bonjour
le b est une erreur de typo
Ca fais pareil avec "
MErci quand meme
0
zipe31 Messages postés 36402 Date d'inscription   Statut Contributeur Dernière intervention   6 431
 
On peut avoir le lien vers la page en question, histoire de tester ?
0
sdblepas Messages postés 33 Date d'inscription   Statut Membre Dernière intervention  
 
voila
#!/bin/bash

for ((i=1;i<9999;i++));
do
#wget --random-wait -r -p -e -A "*.epub" robots=off -U mozilla "http://www..com/.php?id=$i&format=epub"
wget -r -l5 -k -E -A -O "*.epub" robots=off -U mozilla "http://www..com/.php?id=$i&format=epub"
#wget -r -l5 -k -E -A -O '*.epub' "http://www..com/.php?id=$i&format=epub"
#wget -r -l5 -k -E -A -O '*.epub' "http://www..com/.php?id=$i&format=epub"

done
j'ai fais plusieurs eesaie comme tu peux le voir

Si j'enleve le param. -A .epub alors ca marche mais ca telecharge plein de fichier que je veux pas :)
MERCI
0
zipe31 Messages postés 36402 Date d'inscription   Statut Contributeur Dernière intervention   6 431
 
A mon avis c'est ta requête qui n'est pas bonne ;-\

Chaque lien "newsendbook.php?id=$i&format=epub" correspond à une page unique (et non à une page avec ses descendances) qui plus est le numéro d'ID ne correspond pas forcément à ton extension ;-((

Je ne pense pas d'ailleurs qu'il soit possible de faire ce que tu voulais au départ, une requête avec un format particulier, du moins avec cette commande ;-\
0
sdblepas Messages postés 33 Date d'inscription   Statut Membre Dernière intervention  
 
c'est bizarre par ce que sans le -A ca marche bien mais il ne filtre pas les .epub et prend trop de fichier.
peut etre si je rajoute a la fin du script une commande qui efface tout les fichiers qui ne sont pas des epub?
0
zipe31 Messages postés 36402 Date d'inscription   Statut Contributeur Dernière intervention   6 431
 
Au cas ou tu n'aurais pas tout lu ;-((

https://www.ebooksgratuits.com/notice_util.php

Limitations de téléchargement

Le nombre de téléchargements par personne et par jour, est limité à 25 avec, également, une limite de téléchargement globale, pour tout le site, par 24h. Et, de manière générale, nous vous demandons de ne télécharger que ce dont vous avez besoin sur le moment, de ne pas stocker... de répartir au maximum vos téléchargements (si vous essayez de télécharger plusieurs livres simultanément, votre adresse IP peut être bannie, car c'est dommageable pour nos serveurs). C'est à ce « prix » que nous pourrons rester gratuits...

Merci pour eux et pour nous ;-)
0
sdblepas Messages postés 33 Date d'inscription   Statut Membre Dernière intervention  
 
je n'avais effectivement pas lu ceci :) (vraiment en plus)
je le marque en resolu et je vais enlever le script pour pas qu'on le prenne
Merci
0