Script pour AutoNavigation (BOT)

tuxboy Messages postés 1083 Statut Membre -  
tuxboy Messages postés 1083 Statut Membre -
Bonjour,

Merci par avance pour cette recherche mutuelle d'un script en Bash ou en Python qui doit :
- Naviguer seul sur internet en recherchant des pages en français selon des mots-clés via google
- recopier le lien dans les dossiers nommés comme les mots-clés

Si un lien appartient à plusieurs mots-clés, le copier sous forme de fichier ".url" uniquement dans le premier de mes 336 532 dossiers (au besoin, j'adapterais).

Encore merci pour votre aide.
A voir également:

1 réponse

tuxboy Messages postés 1083 Statut Membre 190
 
J'ai un peu progressé sur le script en bash que voici :
#!/bin/sh 
find . -type d | while read DIR 
do 
cherche='http://google.fr/search?num=10&hl=fr&safe=off&q='$DIR 
lynx -dump $cherche > googleres1 
sed 's/http/\^http/g' googleres1 | tr -s "^" "\n" | grep http| sed 's/\ .*//g' > googleres2 
sed -e '/google/d' googleres2 > urls.txt 
mv urls.txt $DIR/urls.txt 
done 
rm googleres1 
rm googleres2


Il faudrait juste améliorer la ligne
mv urls.txt $DIR/urls.txt
, par exemple pour une sortie mieux formatée.
Encore merci.
0