A voir également:
- Télécharger plusieurs fichier à la fois
- Fichier bin - Guide
- Télécharger clavier arabe - Télécharger - Divers Web & Internet
- Comment réduire la taille d'un fichier - Guide
- Fichier epub - Guide
- Fichier rar - Guide
20 réponses
Salut,
En fait ce qut tu vois c'est un script perl qui prend en argument le nom d'un fichier .zip
Si par exemple j'essaie de télécharger Adventure je vois que le téléchargement se fait depuis http://www.classiccmp.org et Adventure Editor depuis http://trs80.barkingmadsoftware.com
En fait ce qut tu vois c'est un script perl qui prend en argument le nom d'un fichier .zip
Si par exemple j'essaie de télécharger Adventure je vois que le téléchargement se fait depuis http://www.classiccmp.org et Adventure Editor depuis http://trs80.barkingmadsoftware.com
Merci bien mais ça ne fonctionne pas car c'est comme si les fichiers sont dans un endroit caché, le répertoire est http://trs-80.com/cgi-bin/newmangle1.pl?*.zip (le * est pour remplacer le nom de tous le fichiers .zip)
Merci
Merci
Merci mais est ce que je peux faire quelque chose avec ça pour réussir à télécharger tous ces fichier sans devoir cliquer sur chacun d'eux?
Merci
Merci
Vous n’avez pas trouvé la réponse que vous recherchez ?
Posez votre question
Bon, j'ai enregistré la page de résultats sous mozilla:
processsqlsearch.php.html
La chaîne de commandes suivantes semble faire l'affaire:
(j'ai limité mes chargements aux dix premiers liens (suprimmer head -10), et il faudrait améliorer l'expression régulière de egrep (autres types de liens de chargement)
explications pour wget
Il faut ajouter le referrer car le serveur vérifie la provenance du lien
--input-file : tous les liens sont lus depuis un fichier, ici l'entrée standard
Mon output
Bon amusement.
processsqlsearch.php.html
La chaîne de commandes suivantes semble faire l'affaire:
(j'ai limité mes chargements aux dix premiers liens (suprimmer head -10), et il faudrait améliorer l'expression régulière de egrep (autres types de liens de chargement)
egrep -o '/cgi-bin/newmangle3.pl\?[^"]*"' processsqlsearch.php.html | tr -d '"' |sed -e 's/^/http:\/\/trs-80.com/' |head -10|wget --referer="http://trs-80.com/processsqlsearch.php" --input-file -
explications pour wget
Il faut ajouter le referrer car le serveur vérifie la provenance du lien
--input-file : tous les liens sont lus depuis un fichier, ici l'entrée standard
Mon output
johand@horus:~/downloads/trs-80$ egrep -o '/cgi-bin/newmangle3.pl\?[^"]*"' processsqlsearch.php.html | tr -d '"' |sed -e 's/^/http:\/\/trs-80.com/' |head -2 |wget --referer="http://trs-80.com/processsqlsearch.php" --input-file - --07:14:34-- http://trs-80.com/cgi-bin/newmangle3.pl?pictur3d.zip => `newmangle3.pl?pictur3d.zip' Résolution de trs-80.com... 82.165.130.211 Connexion vers trs-80.com|82.165.130.211|:80...connecté. requête HTTP transmise, en attente de la réponse...302 Found Emplacement: http://www.classiccmp.org/trs80/model3/pictur3d.zip [suivant] --07:14:35-- http://www.classiccmp.org/trs80/model3/pictur3d.zip => `pictur3d.zip' Résolution de www.classiccmp.org... 209.145.140.57 Connexion vers www.classiccmp.org|209.145.140.57|:80...connecté. requête HTTP transmise, en attente de la réponse...200 OK Longueur: 1150 (1.1K) [application/zip] 100%[=================================================================>] 1150 --.--K/s 07:14:35 (22.38 MB/s) - « pictur3d.zip » sauvegardé [1150/1150] <cut/> johand@horus:~/downloads/trs-80$ file pictur3d.zip pictur3d.zip: Zip archive data, at least v2.0 to extract
Bon amusement.
Désolé le décalage horaire avec toi qui est surement de l'Europe et moi du Canada fait qu'ici c'est le matin alors ma journé commence.
J'ai essayé ta commande et ça ne fonctionne pas.
Si je met dans mon répertoire ~/Desktop/trs-80/trs-80$, c'est quoi le "trs-80$", un répertoire ou un fichier ou autre... car si je le met comme répertoire j'ai le message que c'est un répertoire et si je le met comme un fichier .txt alors il affiche comme message "Permission non accordée" et ce même en root.
Merci de m'éclairer.
J'ai essayé ta commande et ça ne fonctionne pas.
Si je met dans mon répertoire ~/Desktop/trs-80/trs-80$, c'est quoi le "trs-80$", un répertoire ou un fichier ou autre... car si je le met comme répertoire j'ai le message que c'est un répertoire et si je le met comme un fichier .txt alors il affiche comme message "Permission non accordée" et ce même en root.
Merci de m'éclairer.
Bonsoir,
la commande que jisisv t'as donné fonctionne trés bien. Dis ce que tu as fait comme manipulation pour la tester.
Peut être tu as fait une erreur en tapant la commande?!
Si tu veux tu peux essayé comme ça :
1. mkdir trs_zip
2. cd trs_zip
3. dans trs_zip tu enregistres processsqlsearch.php.html
4. tu crées un fichier zip_download.sh dans lequel tu écrit
Attention la commande egrep ...... est sur une seule ligne donc tu n'as qu'a faire copier coller dans le fichier
5. sh zip_download.sh
la commande que jisisv t'as donné fonctionne trés bien. Dis ce que tu as fait comme manipulation pour la tester.
Peut être tu as fait une erreur en tapant la commande?!
Si tu veux tu peux essayé comme ça :
1. mkdir trs_zip
2. cd trs_zip
3. dans trs_zip tu enregistres processsqlsearch.php.html
4. tu crées un fichier zip_download.sh dans lequel tu écrit
#! /bin/sh egrep -o '/cgi-bin/newmangle3.pl\?[^"]*"' processsqlsearch.php.html | tr -d '"'|sed -e 's/^/http:\/\/trs-80.com/' |head -10|wget --referer="http://trs-80.com/processsqlsearch.php" --input-file -
Attention la commande egrep ...... est sur une seule ligne donc tu n'as qu'a faire copier coller dans le fichier
5. sh zip_download.sh
Bonsoir,
Je vient d'essayer ce que tu indique et voici le résultat:
Aucun URL repéré dans -.
Quand tu "3. dans trs_zip tu enregistres processsqlsearch.php.html " tu veux dire que je fais un cliquer droit sout Firefox dans la page où sont les fichiers et que je choisi "Enregistrer sous" et que je lui donne le nom de "processsqulsearch.php.html", c'est bien ça?
Merci
Je vient d'essayer ce que tu indique et voici le résultat:
Aucun URL repéré dans -.
Quand tu "3. dans trs_zip tu enregistres processsqlsearch.php.html " tu veux dire que je fais un cliquer droit sout Firefox dans la page où sont les fichiers et que je choisi "Enregistrer sous" et que je lui donne le nom de "processsqulsearch.php.html", c'est bien ça?
Merci
Ok, j'ai réglé le problème.
Au lieu de faire un clique droit dans Firefox et d'optenir un fichier sans extension et un dossier, j'ai plutot été dans "Fichier/Enregistrer le cadre sous" et j'ai obtenu un fichier "processsqlsearch.php" et je lui est ajouté un .html. J'ai ensuite fait ton étape 5 et maintenant je télécharge les fichiers sans problème. J'ai changé aussi le nombre de téléchargement 10 pour 1280 puisqu'il affiche qu'il y a 1256 fichiers.
Vraiment génial cette commande mais il faut vraiment être un prop pour élaborer une tel commande.
Un grand merci à toi et jisisv, vous faites vraiement mon bonheur.
Au lieu de faire un clique droit dans Firefox et d'optenir un fichier sans extension et un dossier, j'ai plutot été dans "Fichier/Enregistrer le cadre sous" et j'ai obtenu un fichier "processsqlsearch.php" et je lui est ajouté un .html. J'ai ensuite fait ton étape 5 et maintenant je télécharge les fichiers sans problème. J'ai changé aussi le nombre de téléchargement 10 pour 1280 puisqu'il affiche qu'il y a 1256 fichiers.
Vraiment génial cette commande mais il faut vraiment être un prop pour élaborer une tel commande.
Un grand merci à toi et jisisv, vous faites vraiement mon bonheur.
Re,
Un grand merci à toi et jisisv, vous faites vraiement mon bonheur.
Plutôt merci à jisisv. C'est lui qui à écrit la commande. Moi je t'ai seulement donné un petit coup de pouce pour l'utiliser.
Bonne continuation et merci à jisisv.
lami20j
Un grand merci à toi et jisisv, vous faites vraiement mon bonheur.
Plutôt merci à jisisv. C'est lui qui à écrit la commande. Moi je t'ai seulement donné un petit coup de pouce pour l'utiliser.
Bonne continuation et merci à jisisv.
lami20j
Ok, mais merci à toi quand même.
J'aimerais continuer de la sorte sur le site trs-80.com.
Si je vais toujour sur trs-80.com dans la section de gauche dans "Document/Manuals/Software Manuals/", qu'est ce que je dois changer dans le script pour que ça fonctionne comme pour l'autre téléchargement?
J'ai réussi à faire la même chose pour le Model 1 en changant dans le script "newmangle3 par newmangle1" mais pour les autres je ne sais quoi changer.
Merci
J'aimerais continuer de la sorte sur le site trs-80.com.
Si je vais toujour sur trs-80.com dans la section de gauche dans "Document/Manuals/Software Manuals/", qu'est ce que je dois changer dans le script pour que ça fonctionne comme pour l'autre téléchargement?
J'ai réussi à faire la même chose pour le Model 1 en changant dans le script "newmangle3 par newmangle1" mais pour les autres je ne sais quoi changer.
Merci
#! /bin/sh egrep -o '/cgi-bin/linkmesw.pl\?[^"]*"' processsqlsearch.php.html | tr -d '"'|sed -e 's/^/http:\/\/trs-80.com/' |head -10|wget --referer="http://trs-80.com/processsqlsearch.php" --input-file -
downemu.pl - emulator
downorch.pl - ORCH...
downadam.pl - Adventures/Scott Adams
downcpm.pl - CP/M
linkmebooks.pl - Books
linkmhw.pl - manuals hardware
etc...
downorch.pl - ORCH...
downadam.pl - Adventures/Scott Adams
downcpm.pl - CP/M
linkmebooks.pl - Books
linkmhw.pl - manuals hardware
etc...
Merci bien à vous deux mais ça ne fonctionne pas car pour certains fichier dons les livres, il faut attendre 2 minutes entre chaque téléchargement et ça me donne comme message :
--16:14:50-- http://trs-80.com/cgi-bin/linkmesw.pl?X.zip
=> `linkmesw.pl?X.zip'
Résolution de trs-80.com... 82.165.130.211
Connecting to trs-80.com|82.165.130.211|:80... connecté.
requête HTTP transmise, en attente de la réponse...200 OK
Longueur: non spécifié [text/html]
linkmesw.pl?X.zip: Argument invalide
Ne peut écrire dans « linkmesw.pl?X.zip » (Argument invalide).
Je ne sais pas si c'est possible de déjouer ça.
Merci encore.
--16:14:50-- http://trs-80.com/cgi-bin/linkmesw.pl?X.zip
=> `linkmesw.pl?X.zip'
Résolution de trs-80.com... 82.165.130.211
Connecting to trs-80.com|82.165.130.211|:80... connecté.
requête HTTP transmise, en attente de la réponse...200 OK
Longueur: non spécifié [text/html]
linkmesw.pl?X.zip: Argument invalide
Ne peut écrire dans « linkmesw.pl?X.zip » (Argument invalide).
Je ne sais pas si c'est possible de déjouer ça.
Merci encore.
Ceci semble fonctionner, non?
Très lent à l'heure actuelle !!!
johand@horus:~/downloads/trs-80$ egrep -o '/cgi-bin/linkmesw.pl[^"]+"' processsqlsearch.php.html | tr -d '"' |sed -e 's/^/http:\/\/trs-80.com/' |head -2 http://trs-80.com/cgi-bin/linkmesw.pl?Advanced_Statistical_Analysis_(1979)(Tandy)(pdf).zip http://trs-80.com/cgi-bin/linkmesw.pl?Adventure_Editor_(19xx)(Bruce_Hansen)(pdf).zip johand@horus:~/downloads/trs-80$ egrep -o '/cgi-bin/linkmesw.pl[^"]+"' processsqlsearch.php.html | tr -d '"' |sed -e 's/^/http:\/\/trs-80.com/' |head -2 |wget --referer="http://trs-80.com/processsqlsearch.php" --input-file - --04:21:02-- http://trs-80.com/cgi-bin/linkmesw.pl?Advanced_Statistical_Analysis_(1979)(Tandy)(pdf).zip => `linkmesw.pl?Advanced_Statistical_Analysis_(1979)(Tandy)(pdf).zip' Résolution de trs-80.com... 82.165.130.211 Connexion vers trs-80.com|82.165.130.211|:80...connecté. requête HTTP transmise, en attente de la réponse...302 Found Emplacement: http://www.classiccmp.org/trs80/Software/C76D6_Advanced_Statistical_Analysis_(1979)(Tandy)(pdf).zip [suivant] --04:21:02-- http://www.classiccmp.org/trs80/Software/C76D6_Advanced_Statistical_Analysis_(1979)(Tandy)(pdf).zip => `C76D6_Advanced_Statistical_Analysis_(1979)(Tandy)(pdf).zip' Résolution de www.classiccmp.org... 209.145.140.57 Connexion vers www.classiccmp.org|209.145.140.57|:80...connecté. requête HTTP transmise, en attente de la réponse...200 OK Longueur: 15178996 (14M) [application/zip] 1% [ ] 172155 6.01K/s ETA 40:15 johand@horus:~/downloads/trs-80$ file C76D6_Advanced_Statistical_Analysis_\(1979\)\(Tandy\)\(pdf\).zip C76D6_Advanced_Statistical_Analysis_(1979)(Tandy)(pdf).zip: Zip archive data, at least v2.0 to extract
Très lent à l'heure actuelle !!!
Encore un détail:
afin de rester poli et de ne pas surcharger les serveurs, tu peux utiliser une option -w dans wget
afin de rester poli et de ne pas surcharger les serveurs, tu peux utiliser une option -w dans wget
-w seconds
--wait=seconds
Wait the specified number of seconds between the retrievals. Use
of this option is recommended, as it lightens the server load by
making the requests less frequent. Instead of in seconds, the time
can be specified in minutes using the "m" suffix, in hours using
"h" suffix, or in days using "d" suffix.
Specifying a large value for this option is useful if the network
or the destination host is down, so that Wget can wait long enough
to reasonably expect the network error to be fixed before the
retry.
Parfait, merci bien jisisv pour ces précieuses commande.
J'ai mis un délai de 120 seconde avec l'option -w comme tu mentionne et maintenant je peu faire autre chose pendant que le tout ce télécharge sans que j'ai à rester devant la page à attendre 2 minutes à chaque fois et ensuite cliquer sur le prochain fichier.
Vraiment impressionnant ce que l'on peu faire sous Linux. Tu dois vraiment être avancé pour réussir à faire celà.
Merci
J'ai mis un délai de 120 seconde avec l'option -w comme tu mentionne et maintenant je peu faire autre chose pendant que le tout ce télécharge sans que j'ai à rester devant la page à attendre 2 minutes à chaque fois et ensuite cliquer sur le prochain fichier.
Vraiment impressionnant ce que l'on peu faire sous Linux. Tu dois vraiment être avancé pour réussir à faire celà.
Merci
Encore une question,
Présentement je télécharger les livres qui sont classé par ordre alphabétique. Si j'arrête le tout et que je veux recommencer à partir des livres qui commence par la lettre "M"(car le présent script commence le téléchartgement au début), quelle modif que je fais dans le script?
Et si je veu télécharger les livres de la lettre "M" à la lettre "R" par exemple, comment je fais.
Désolé mais c'est un peu compliqué pour moi ces scripts.
Merci encore.
Présentement je télécharger les livres qui sont classé par ordre alphabétique. Si j'arrête le tout et que je veux recommencer à partir des livres qui commence par la lettre "M"(car le présent script commence le téléchartgement au début), quelle modif que je fais dans le script?
Et si je veu télécharger les livres de la lettre "M" à la lettre "R" par exemple, comment je fais.
Désolé mais c'est un peu compliqué pour moi ces scripts.
Merci encore.
Entre M et R ou m et r
Qui commence avec M
#! /bin/sh egrep -o '/cgi-bin/linkmesw.pl\?[M-Rm-r][^"]*"' processsqlsearch.php.html | tr -d '"'|sed -e 's/^/http:\/\/trs-80.com/' |wget --referer="http://trs-80.com/processsqlsearch.php" --input-file -
Qui commence avec M
#! /bin/sh egrep -o '/cgi-bin/linkmesw.pl\?M[^"]*"' processsqlsearch.php.html | tr -d '"'|sed -e 's/^/http:\/\/trs-80.com/' |wget --referer="http://trs-80.com/processsqlsearch.php" --input-file -
Parfait, merci bien lami20j, ça fonctionne.
C'est parce qu'en ce moment il ne fait pas très beau chez moi et il y a des endroit ou ils ont des panne de courant, alors si ça m'arrive je ne veux pas devoir tout recommencer car je dois mettre un délais 120 secondes entre chaque téléchargement car le site ne permet pas de dl avant ça alors depuis hier que je dl et j'en suis rendu seulement à la lettre "F". Mais au moins je ne suis pas obligé de rester devant l'écran à cliquer et à compter 2 minutes chaque fois.
Encore un gros merci.
C'est parce qu'en ce moment il ne fait pas très beau chez moi et il y a des endroit ou ils ont des panne de courant, alors si ça m'arrive je ne veux pas devoir tout recommencer car je dois mettre un délais 120 secondes entre chaque téléchargement car le site ne permet pas de dl avant ça alors depuis hier que je dl et j'en suis rendu seulement à la lettre "F". Mais au moins je ne suis pas obligé de rester devant l'écran à cliquer et à compter 2 minutes chaque fois.
Encore un gros merci.