Script pour AutoNavigation (BOT)

tuxboy Messages postés 1083 Statut Membre -  
tuxboy Messages postés 1083 Statut Membre -
Bonjour,

Merci par avance pour cette recherche mutuelle d'un script en Bash ou en Python qui doit :
- Naviguer seul sur internet en recherchant des pages en français selon des mots-clés via google
- recopier le lien dans les dossiers nommés comme les mots-clés

Si un lien appartient à plusieurs mots-clés, le copier sous forme de fichier ".url" uniquement dans le premier de mes 336 532 dossiers (au besoin, j'adapterais).

Encore merci pour votre aide.

1 réponse

  1. tuxboy Messages postés 1083 Statut Membre 190
     
    J'ai un peu progressé sur le script en bash que voici :
    #!/bin/sh 
    find . -type d | while read DIR 
    do 
    cherche='http://google.fr/search?num=10&hl=fr&safe=off&q='$DIR 
    lynx -dump $cherche > googleres1 
    sed 's/http/\^http/g' googleres1 | tr -s "^" "\n" | grep http| sed 's/\ .*//g' > googleres2 
    sed -e '/google/d' googleres2 > urls.txt 
    mv urls.txt $DIR/urls.txt 
    done 
    rm googleres1 
    rm googleres2


    Il faudrait juste améliorer la ligne
    mv urls.txt $DIR/urls.txt
    , par exemple pour une sortie mieux formatée.
    Encore merci.
    0