Script shell de traitement d'un page web

sahhra_ahhra Messages postés 13 Statut Membre -  
sahhra_ahhra Messages postés 13 Statut Membre -
Bonjour,
je cherhce a un script shell qui permet de traiter un fichier html télécharger a partir d'un page web par la commande wget .

je vous calculer le nombre et la taille des images qui existe dans le fichier ainsi que les fichiers js et css

2 réponses

  1. UnGars
     
    Salut,

    Il nous faudrait un exemple de page à traiter, les parties à récupérer ainsi que le résultat attendu.
    0
    1. sahhra_ahhra Messages postés 13 Statut Membre
       
      j'ai essayer a développer un script mais j'ai besoin de récupérer plus d'information comme la taille des images et js et css ainsi que l’adresse ip le nombre du requête qui exite dans la page le temps de réponse :

      #!/bin/bash
      #first script
      wget $1 -O page.html

      #curl
      #VARE[0]=""
      if [ $? -ne 0 ]
      then
      VARE[0]="Impossible de se connecter, Veuillez verifier votre url et votre connexion internet"
      echo ${VARE[0]}
      echo *#*
      exit
      fi
      #chmod 777 page.html
      FILENAME=page.html
      #md5=($(md5sum $FILENAME))
      VARE[1]=$(md5sum $FILENAME)

      #nbr_images=($(grep -o -c '<img ' $FILENAME ))
      egrep -o '<img '*' src=' $FILENAME>count.txt

      VARE[2]=$(egrep -o -c '<img '*' src=' count.txt )


      #nbr_file_css=($(grep -o -c '<link '.'*.css' $FILENAME ))
      egrep -o 'rel="stylesheet' $FILENAME>count.txt

      VARE[3]=$(egrep -o -c 'rel="stylesheet' count.txt )

      #nbr_file_js=$(grep -o -c '<script '.'*.js' $FILENAME)
      egrep -o 'src="[^"]*\.js' $FILENAME>count.txt

      VARE[4]=$(egrep -o -c 'src="[^"]*\.js' count.txt )
      rm count.txt

      #FILESIZE=$(stat -c%s "$FILENAME")
      VARE[5]=$(stat -c%s "$FILENAME")

      #DATE_TEST=$(date '+%Y-%m-%d-%R-%S')
      VARE[6]=$(date '+%Y-%m-%d-%R-%S')
      #get ip adress
      nslookup $1 > ip.txt
      VARE[7]=$(tail -n 2 ip.txt)

      echo ${VARE[1]}
      echo *#*
      echo ${VARE[2]}
      echo *#*
      echo ${VARE[3]}
      echo *#*
      echo ${VARE[4]}
      echo *#*
      echo ${VARE[5]}
      echo *#*
      echo ${VARE[6]}



      0
      1. UnGars > sahhra_ahhra Messages postés 13 Statut Membre
         
        Ok pour ton script, mais peut-on avoir le lien de la page à traiter ?
        0
    2. sahhra_ahhra Messages postés 13 Statut Membre
       
      pour le lien je prend par exemple
      wget $1 -O 	page.html

      je prend a un url aléatoire par exemple commentcamarche.com
      0
    3. UnGars
       
      Pour récupérer le poids d'une image (en octet) :
      curl -s --head http://adresse.image.png | grep -Po 'Content-Length: \K.*'
      0
  2. Utilisateur anonyme
     
    Salut,

    Ce que tu cherches à faire, c'est exactement ce que fait l'onglet "network" du navigateur dans "inspecter" l'élément.

    Pourquoi ne pas utiliser cet outil directement ?
    0
    1. sahhra_ahhra Messages postés 13 Statut Membre
       
      mon objectif est de développer un application web qui utilise des scripts sell qui permet de détecter la différence entre deux version d'un page web et calculer
      0
    2. sahhra_ahhra Messages postés 13 Statut Membre
       
      merci UnGars de votre aide (y)
      0