[URL] Trouvé une URL avec partie manquante Résolu/Fermé

Question

Bonjour, 

Je cherche à trouvé une URL parmis un nombre de posibilité dont je sais que seulement une seule est bonne. 

Il me faut donc tout d'abord un moyen de créer une liste d'URL.
Et ensuite un moyen de pouvoir les tester pour voir laquelle est la bonne.

Par exemple: www.site.fr/rubrique/xyz.htm où x, y et z sont trois lettres pouvant être identiques.

Quelqu'un pourrait-il m'aider SVP?

lami20j · Accepted Answer

Re,

Merci beaucoup ça marche mais ça risque de prendre du temps

Oui, je sais, tu as presque 2 millions des URL.

Tu peux diviser le fichier par exemple.
C'est possible directement dans le script.

Donc créer un fichier pour chaque catégorie simplifiera un peu les choses.

A toi de voir. Si tu as besoin dit le et je ferai les modifications nécessaires, mais pas ce soir.

lami20j

Ssylvainsab · Answer

bonsoir.

je pense que tu pourrais utiliser les regex, avec preg_match (vérifier).

a plus

Powo2 · Answer

C'est à dire? Je suis plus qu'un débutant lol, j'espérais plutôt qu'il y avait déjà des logiciels existant. Je n'ai jamais fait de programme et je ne sais même pas comment on peut en faire.

Il n'y a pas un logiciel capable de créer une liste logique et un autre capable de lire une liste d'adresse URL et de déterminer quels sont celles qui renvoient des données?

Ssylvainsab · Answer

Mais est ce que tu peux dire concrètement ce que tu voudrais ?

"Créer une liste logique :"
Faire une liste des urls qui peuvent exister ?
Par exemple "www.commentcamarche.net" serait reconnue comme existante, mais pas blabla.boot ?

"déterminer quels sont celles qui renvoient des données"
???
La c'est très imprécis, je ne comprends pas du tout.
Qu'est ce que tu veux dire ?

a plus

Powo2 · Answer

Par exemple j'ai une adresse:

www.adresse.fr/xyz.htm

Je voudrais trouvé le x, y et z qui forment une adresse existante (sachant que x, y et z sont 3 lettre). Et je voudrais donc que le programme me dise:

www.adresse.fr/abc.htm       n'existe pas
www.adresse.fr/abd.htm      n'existe pas
www.adresse.fr/abe.htm       n'existe pas
www.adresse.fr/abf.htm        existe

Mais je ne peux pas taper les adresses une par une il y en a trop...

Ssylvainsab · Answer

Ah !
D'accord !

Tu veux vérifier si l'url, ou plutôt le fichier qui lui correspond, existe.
(et ne vérifier q'il existe que s'il a 3 lettres)
C'est bien ca ?

Et tu veux faire ca pour quelles adresses (celles d'un domaine en particulier ?), et pour combien ?

Powo2 · Answer

Voila en gros c'est ça... 

Jjustement j'ai le début de mon adresse mais il me manque 3 lettres... et il y a beaucoup de combinaison de 3 lettres possible c'est pour ça que j'aimerai un programme qui fait une liste (je pense que le nombre de possiblité est de l'ordre de 26^3 = 12167). 

Et donc j'aimerais savoir laquelle de ces 12167 adresses est la bonne...

Ssylvainsab · Answer

Si j'ai bien compris, tu as cette adresse :
http://www.site.com/abcdxxx.html

et tu connais toutes les lettres sauf xxx.
C'est bien ca ?

Puor ca, il faudrait faire une regex en php (ca je saurais la faire c'est super simple :D), mais ensuite il faudrait lister les urls possibles et ca je ne sais pas trop comment faire...
Peut-être avec un array.

Enfin, j'ai qulques idées en tête.

Donne moi l'url que tu connais, je te ferais la regex sui vérifiera.
Ensuite j'essaierais différents scripts, et je verrais bien si il y en a un qui marche.

a plus

Powo2 · Answer

L'adresse que je connais c'est:

http://feuks.free.fr/colles/colles_physio/P106xxx.rar

Et j'ignore les 3 x

Mais le problème c'est que j'aimerai un programme qui puisse marcher plusieurs fois ^^ pas sur seulement cet adresse, par exemple je voudrai aussi trouver les 3 x de cette adresse: 

http://feuks.free.fr/colles/colles_physio/P107xxx.rar

Ssylvainsab · Answer

Ah.

Mais tu voudrais que ca marche pour combein de fichiers différents (sans les xxx) ?

Powo2 · Answer

Une centaine ^^ si c'était que deux j'aurais pas eu de problème... mais là... 

C'est pour ça que je voulais un programme parce qu'après j'aurais pu me débrouiller tous seul...

Ssylvainsab · Answer

Et les fichiers sont tous dans le dossier http://feuks.free.fr/colles/colles_physio/ ?

Est ce qu'ils ont les mêmes nom avec un chiffre augmenté de 1 a chaque fois ?
Comme : http://feuks.free.fr/colles/colles_physio/P106xxx.rar
http://feuks.free.fr/colles/colles_physio/P107xxx.rar
http://feuks.free.fr/colles/colles_physio/P108xxx.rar

etc...

enfin, donnes le maximum de précisions possibles, tout ce que tu sais.

Powo2 · Answer

Ca va jusqu'à P113 après c'est des autres début d'adresse a chaque fois.

http://feuks.free.fr/colles/colles_anat/anat1xxx.rar
http://feuks.free.fr/colles/colles_bio/b110xxx.rar
http://feuks.free.fr/colles/colles_bioch/B104xxx.rar
http://feuks.free.fr/colles/colles_biophys/b106xxx.rar

C'est assez aléatoire. Je vais t'avouer ce sont des QCM d'entrainement (en médecine) payant... et je n'ai pas assez d'argent pour tous les acheter... après en avoir payer quelques un j'ai remarquer une redondance... donc voila je suppose que ce sont des adresses de ce type avec des lettres aléatoires.

Ssylvainsab · Answer

Je commence a te faire un script, mais c'est pas du tout ca (je fais des recherches de fichiers avec des regex alors que c'est pour les chaines de caractères...), c'est juste un début....
Il faut attendre que quelqu'un de plus expérimenté arrive.
http://sylvain.sab.free.fr/autres/ccmsdz/trouver_fichiers/

Mais de toute facon le script ne fonctionne pas, il faut voir la source :
http://sylvain.sab.free.fr/autres/ccmsdz/trouver_fichiers/?source

Powo2 · Answer

D'accord merci beaucoup c'est vraiment sympa ^^ j'ai fait beaucoup beaucoup de recherche avant de venir ici, alors si ça peut t'aider j'ai trouver ces deux liens là qui semblait intéressant mais que je ne comprend pas ou que je n'arrive pas à explotier 

https://codes-sources.commentcamarche.net/

https://codes-sources.commentcamarche.net/

ET aussi, c'est pas trop abuser de te demander comment on fait pour utiliser un script :$ ?

Ssylvainsab · Answer

Pour utiliser un script, tu vas a l'adresse correspondante.
Comme le script est en php, il ne peut s'eexecuter que sur un serveur.
Regardes la source et copies le fichier sur ton site, si tu en as un.
http://sylvain.sab.free.fr/autres/ccmsdz/trouver_fichiers/?source

Ssylvainsab · Answer

Mais le problème, c'est qu'on ne connait pas le nom de fichier, il ya plusieurs variables.

Ce qu'il faudrait faire, c'est trouver un moyen de lister toutes les urls possibles (comme tu l'as dit), mais je ne sais pas comment faire.
Ensuite, il faudrait vérifier chaque url, et l'afficher si elle est bonne.
Mais c'est compliqué. (pour moi).
Je pense qu'o doit puovoir faire ca avec un arry et des foreach, plus quelques regex et des file_exists...

Sinon, dans un autre langage, mais je ne connais que php comme langage de programmation.

Powo2 · Answer

Je n'ai pas de site et quand je clique sur le lien il me renvoit sur une page d'erreur

Ssylvainsab · Answer

Je sais, c'est normal vu que le script est invalide, ce n'est qu'un brouillon.
Il faut que quelqu'un de plus expérimenté nous aide.

Powo2 · Answer

Alors personne d'autre n'est capable de m'aider à résoudre ce problème?

Ssylvainsab · Answer

Dans quelques temps, si personne n'a répondu a ton sujet, tu peux faire un autre post, je pense que ca ne genera personne.

D'autant plus qu'on a un peu avancé le problème.

Par contre, j'ai bien dit dans quelques temps.

a plus

lami20j · Answer

Salut,


Il me faut donc tout d'abord un moyen de créer une liste d'URL.

Si j'ai bien compris dans le changement de vos messages, une partie d'un  URL il faut la trouver en combinant un certain nombre de caractères à savoir alphanumeriques.

Si on a une chaine de 3 caractères, par exemple xyz alors on a un nombre de 3! de combinaison qui donne 6 combinaison. C'est un cas simple.
Si on ajoute aussi la couche de l'alphabet avec ces 26 lettres alors le nombre de possibilités devines vraiment grand.

Et si on ajoute une autre couche, le nombre de caractères à combiner augmente, alors prend en compte que 6! fait déjà 720 combinaison.


Par exemple pour créer une liste des URL tu peux utiliser un script simple.
Pour l'URL
http://feuks.free.fr/colles/colles_physio/P106xxx.rar 

et supposons que xxx c'est une combinaison des lettres d,a,c on peut avoir quelque chose de genre en Perl (tu peux bien sûr utiliser PHP, Python, Perl ou un autre langage script)@combi = qw( dac, dca, acd, adc, cad, cda);
$url = 'http://feuks.free.fr/colles/colles_physio/P106xxx.rar ';

foreach (@combi) {
    (my $res = $url) =~ s#(http://.*/P106)(?:\w{3})(\.rar)#$1$_$2#;
    print "$res
";
}Dans ce cas j'ai écrit les combinaison à la main, 6 ça va mais à compter de 4 c'est mieux de faire un script pour permuter les caractères.


Et ensuite un moyen de pouvoir les tester pour voir laquelle est la bonne. 

Une fois la liste créer, alors la tester peut être simple ou bien compliqué. 
Si tu n'as que 6 liens à tester tu n'as qu'à le vérifier un par un :-))
Et c'est déjà ennuyeux.

Si tu as plusieurs alors perso je ferai un script pour ça.
Peut être pour ça il peut avoir un logiciel qui te teste une liste des URL, je ne sais pas.

lami20j

Ssylvainsab · Answer

Tu n'aurait pas juste un moyen de créer une liste avec les 3 variables? Je pense que pour la vérification je peux me débrouiller
Les 3 variables ?
C'est a dire ?


Merci pour ton aide lami20j, mais il ne s'y connait pas trop en programmation et moi non plus.

Ce qu'il faudrait faire, c'est un liste des urls possibles.
Pour vérifier les liens, c'est très simple.

Donc si tu as une idée du script qui correspond, tu peux le faire.

Peut-être qu'il faudrait une boucle, ou un array et un foreach.
Je parle en php, car c'est le seul langage de programmation que je connais (un peu).


Peut être pour ça il peut avoir un logiciel qui te teste une liste des URL, je ne sais pas. 
Oui, il y a Xenu Link's Sleuth.

a plus

Powo2 · Answer

Merci beaucoup pour le logiciel c'est exactement ce qu'il fallait pour vérifier.

Maintenant il "suffit" (lol ^^) de pouvoir créer une liste regroupant toutes les possibilités...

Les 3 variables étant les 3 x dans les adresses (il peuvent être différent, identiques mais se sont toujours 3 lettres)

http://feuks.free.fr/colles/colles_anat/anat1xxx.rar 
http://feuks.free.fr/colles/colles_bio/b110xxx.rar 
http://feuks.free.fr/colles/colles_bioch/B104xxx.rar 
http://feuks.free.fr/colles/colles_biophys/b106xxx.rar 

J'aimerais donc une liste de ce type avec toutes les possibilités

http://feuks.free.fr/colles/colles_bioch/B104aaa.rar
http://feuks.free.fr/colles/colles_bioch/B104aab.rar
http://feuks.free.fr/colles/colles_bioch/B104aac.rar
...
http://feuks.free.fr/colles/colles_bioch/B104frt.rar
...
http://feuks.free.fr/colles/colles_bioch/B104zzz.rar

lami20j · Answer

Re,

Attention, la sitiuation deviens compliquée.

Jusqu'à colles_ ça va mais ensuite tout change pas seulement les xxx

En bref tu as la base

http://feuks.free.fr/colles/colles_
et ensuite tes cominaison.

Comment tu obtiens ça?

http://feuks.free.fr/colles/colles_anat/anat1
http://feuks.free.fr/colles/colles_bio/b110
http://feuks.free.fr/colles/colles_bioch/B104
http://feuks.free.fr/colles/colles_biophys/b106

lami20j

Powo2 · Answer

Après colles_ ce sont des données que je connais je pourrait donc les modifier... c'est juste les 3 lettres x qui sont des incconus

Powo2 · Answer

Après colles_ ce sont des données que je connais je pourrait donc les modifier... c'est juste les 3 lettres x qui sont des incconus

Ssylvainsab · Answer

Après colles_ ce sont des données que je connais je pourrait donc les modifier...
Oui mais bon, il devra te faire la liste pour chaque chose que tu connais après colle_ alors.
Si tu n'en as pas beaucoup, tu pourras les changer toi même, mais si tu en as beaucoup...

Une fois qu'on aura fait la liste pour une des urls possibles, il suffira de faire du rechercher/remplacer.

Par exemple on fait la liste de tous les urls possibles pour
http://feuks.free.fr/colles/colles_bioch/

On fait seulement cette liste, on vérifie les liens avec xenu, puis on fait du rechercher remplacer :
On cherche bioch
Qu'on remplace par biophys
Ce qui donne
http://feuks.free.fr/colles/colles_biophys/
Puis on revérifie.
Puis on refait rechercher remplacer, mais cette fois pour "bio"

etc...

et comme ca pour chacune de tes urls possibles.
Ca ce sera a toi de le faire.

Mais pourquoi tu veux faire ca ?

lami20j · Answer

Salut,

Voici le script#!/usr/bin/perl
use strict;use warnings;

my $url='http://feuks.free.fr/colles_bioch/B104xxx.rar';

foreach ( 'aaa'..'zzz' ){ 
    (my $r = $url) =~ s#(http://.*B104)\w{3}(\.rar)#$1$_$2#;
    print "$r
"; 
}lami20j

P.S tu obtiens 17576 URLs

Ssylvainsab · Answer

Oui, mais ca, c'est le script perl ?

Je vais essayer.


EDIT : Ca y est, j'ai un fichier avec l'extension .pl
Mais je l'execute comment ?

Ssylvainsab · Answer

Oula, j'ai pas trop de connaissances en php, donc ca va être dur de l'adapter...

Je vais déja mettre le code du script sur mon site.
http://sylvain.sab.free.fr/autres/ccmsdz/trouver_fichiers/
http://sylvain.sab.free.fr/autres/ccmsdz/trouver_fichiers/?source

lami20j · Answer

Re,

sinon je te donne la liste que j'ai obtenu ;)


lami20j

Ssylvainsab · Answer

Si tu pouvais me faire un fichier, ou alors me donner la liste, je la mettrais sur mon site et je vérifierais les liens.

Powo2 · Answer

Lol là j'ai décrocher ^^ j'étais aller manger, mais oui il n'y a pas beaucoup de dossier, il y a bio, biophy, bioch, anat, physio et c'est tout... après dans chaque dossier il y a un certain nombre de fichier commençant par b103 b 104, b105... ou p1031 p104 et ainsi de suite, dépendant du fichier... mais le début de l'adresse je pourrait le changer manuellement...

Comment faut il faire alors pour executer le script?

lami20j · Answer

Re,

Powo2 tu es aussi sur win je suppose. Donc il faut installer perl.

Sous linux

perl script.pl > resultat

Pour l'instant je vais prendre tes possibilités et 
bio..

et 103
je vais créer les fichiers et enuite tu t'en sortira.
Plus de moitié de boulot ça sera fait.

Ca vous va comme ça?

lami20j

Powo2 · Answer

La version 5.9.2. de perl? J'ai du mal a m'en sortir je n'arrive même pas l'installer...

Je suis un débutant :) tu pourrais m'expliquer comment exécuter le script avec la version 5.9.2. que j'ai télécharger?

C'est active perl qu'il faut?

lami20j · Answer

Re,

ok, je te dirai mais d'abord il faut que je finisse le script, pour ne pas être obliger de l'exécuter plusieurs fois en changeant à la main les parametres.

Donc ce que j'ai besoin de savoir c'est

b103 b 104, b105... ou p1031 p104 et ainsi de suite
on va jusqu'au ou, soit plus précis s'il te plaît.

lami20j

Powo2 · Answer

Ok attend je te donne toutes les adresse mais il y en a une centaine c'est pour ça je voulais pas trop abuser

colles_anat/anat1xxx.rar
colles_anat/anat2xxx.rar
colles_anat/anat3xxx.rar
...
colles_anat/anat18xxx.rar

colles_physio/P101xxx.rar
colles_physio/P102xxx.rar
colles_physio/P103xxx.rar
...
colles_physio/P113xxx.rar

colles_bio/b103xxx.rar
colles_bio/b104xxx.rar
colles_bio/b105xxx.rar
...
colles_bio/b119xxx.rar

colles_biophys/b101xxx.rar
colles_biophys/b102xxx.rar
colles_biophys/b103xxx.rar
...
colles_biophys/b136xxx.rar

colles_bioch/B101xxx.rar
colles_bioch/B102xxx.rar
colles_bioch/B103xxx.rar
...
colles_bioch/B119xxx.rar

lami20j · Answer

Re,

pour tes centaines le traitement ne sera pas si long.

lami

Powo2 · Answer

Voila c'est pour ça car changer la base de l'adresse à chaque fois c'est un travail fastidieux, je voulais le faire moi-même... je t'ai donner tous les changement au dessus, voilà :)

Powo2 · Answer

Ca marche pas? Parce que sinon je peux trés bien le faire manuellement ça me dérange pas

lami20j · Answer

Re,

ça marche bien sûr. mais j'était un peu occupé ;)

Voici le script.
Je l'ai testé chez moi sous Linux.
J'obtiens un fichier de 81 Mo avec 1 810 328 lignes.
temps d'exécution 2 à 3 secondes#!/usr/bin/perl
use strict;use warnings;

my @prefix;

push @prefix, "anat/anat$_" for 1..18;
push @prefix, "physio/P$_"  for 101..113;
push @prefix, "bio/b$_"     for 103..119;
push @prefix, "biophys/b$_" for 101..136; 
push @prefix, "bioch/B$_"   for 101..119;

my $url_base = 'http://feuks.free.fr/colles_';
map { $_ = $url_base.$_ } @prefix;

foreach ( @prefix ) {
    foreach my $l ( 'aaa'..'zzz' ) { 
        print "$_$l.rar
";
    }
}lami20j

Powo2 · Answer

Ah :) alors tu pourrais me dire comment utiliser ce script? avec quel logiciel... même sur quel bouton appuyer ^^ parce que je suis plus qu'un débutant ^^ j'ai télécharger ActivePerl 5.8 j'ai windows XP sp2

Powo2 · Answer

Ah j'ai réussi il ouvre une fenetre MSdos et il affiche toutes les adresses en environ 2 min mais après il disparait, il y a pas un moyen de les inscrire dans une fichier texte?

lami20j · Answer

Ah oui

tu dois faire une rédirection. 

quand tu l'exécutes dans la console MsDOS écris à la fin  > C:\url.txt

Le résultat sera dans le fichier url.txt dans C:\

A savoir que la durée de 2 minutes est due au affichage à l'écran
avec la direction ça sera plus rapide.

lami20j

Powo2 · Answer

Non mais la fenetre disparait toute seule je n'ai aucune intéraction avec tu ne peux pas rajouter une ligne au programme pour qu'il inscrive toutes les réponses dans un notpad?

lami20j · Answer

Oui je peux. attends

Mais comment tu fais pour l'exécuter? tu utilise la souris?

Powo2 · Answer

D'accord merci beaucoup j'attend :)

J'ai créer un fichier PL qui est exécutable avec activePerl et j'ai copier ton script dedans. Et je double clique dessus pour l'activer oui.

lami20j · Answer

Regarde ici comment tu dois exécuter le script.
Il faut ouvrir la fenêtr DOS ( regarde dans Démarrer/Programmes/Accessoires/ )
https://www.cjoint.com/?kwpnGNIIPv

Donc je suppose que tu as installer Perl dans C:\
le script je l'ai appelé url3.pl
le resultat ce trouvera dans le fichier resultat.txt qui se trouve en C:\

l'exécution est rapide
en revanche l'ouverture de fichier sera plus longue (vu ça taille)

lami20j

Powo2 · Answer

Oooh :) merci beaucoup beaucoup ça marche... je vais essayer avec Xenu maintenant et voir si je trouve, je te tiens au courant... c'est vraiment sympa merci

Ssylvainsab · Answer

Bon, disons que j'ai servi a rien pour la fin, mais c'est bien quand même !
Ton problème est (enfin) résolu Powo2 ?

Je coche le bouton résolu.

a plus

Ssylvainsab · Answer

Bon, disons que j'ai servi a rien pour la fin, mais c'est bien quand même ! Mais, non, il ne faut pas dire ça. Tu as fait moitié de boulot :-) Merci à toi. J'ai bien dit pour la fin. Et puis, de toute facon, je plaisantais. :D Au fait, tu n'as toujours pas répondu a ma question Powo. Pourquoi tu veux faire ca ? a plus

Powo2 · Answer

Merci beaucoup ça marche mais ça risque de prendre du temps, et je t'ai dit dans mon post 12 pour quoi je voulais faire ça ^^

Je vais t'avouer ce sont des QCM d'entrainement (en médecine) payant... et je n'ai pas assez d'argent pour tous les acheter... après en avoir payer quelques un j'ai remarquer une redondance... donc voila je suppose que ce sont des adresses de ce type avec des lettres aléatoires.

Sache que ce genre de gens ont raté médecine et revendent les choses qu'ils ont eu gratuitement, c'est trés utile mais il essaye de se faire de l'argent sur le dos des étudiant, je vais pouvoir en faire profiter un certain nombre, et cette année sera un peu moins sous le signe de l'argent et beaucoup plus sous celui du travail.

En tout cas merci beaucoup à vous deux...

Powo2 · Answer

Comme on me demande de faire un message pour résumer:

J'utilise d'abord le script suivant avec perl:

#!/usr/bin/perl
use strict;use warnings;

my @prefix;

push @prefix, "anat/anat$_" for 1..18;
push @prefix, "physio/P$_"  for 101..113;
push @prefix, "bio/b$_"     for 103..119;
push @prefix, "biophys/b$_" for 101..136; 
push @prefix, "bioch/B$_"   for 101..119;

my $url_base = 'http://feuks.free.fr/colles_';
map { $_ = $url_base.$_ } @prefix;

foreach ( @prefix ) {
    foreach my $l ( 'aaa'..'zzz' ) { 
        print "$_$l.rar
";
    }
}

Ensuite pour savoir quels sont les adresses valide j'utilise le logiciel xenu sur: http://sylvain.sab.free.fr/logiciels/xenu.php

[URL] Trouvé une URL avec partie manquante

54 réponses

Discussions similaires