Script shell de traitement d'un page web

Bonjour,
je cherhce a un script shell qui permet de traiter un fichier html télécharger a partir d'un page web par la commande wget .

je vous calculer le nombre et la taille des images qui existe dans le fichier ainsi que les fichiers js et css

2 réponses

  1. Salut,

    Ce que tu cherches à faire, c'est exactement ce que fait l'onglet "network" du navigateur dans "inspecter" l'élément.

    Pourquoi ne pas utiliser cet outil directement ?
    1. mon objectif est de développer un application web qui utilise des scripts sell qui permet de détecter la différence entre deux version d'un page web et calculer
    2. merci UnGars de votre aide (y)
  2. Salut,

    Il nous faudrait un exemple de page à traiter, les parties à récupérer ainsi que le résultat attendu.
    1. j'ai essayer a développer un script mais j'ai besoin de récupérer plus d'information comme la taille des images et js et css ainsi que l’adresse ip le nombre du requête qui exite dans la page le temps de réponse :

      #!/bin/bash
      #first script
      wget $1 -O page.html

      #curl
      #VARE[0]=""
      if [ $? -ne 0 ]
      then
      VARE[0]="Impossible de se connecter, Veuillez verifier votre url et votre connexion internet"
      echo ${VARE[0]}
      echo *#*
      exit
      fi
      #chmod 777 page.html
      FILENAME=page.html
      #md5=($(md5sum $FILENAME))
      VARE[1]=$(md5sum $FILENAME)

      #nbr_images=($(grep -o -c '<img ' $FILENAME ))
      egrep -o '<img '*' src=' $FILENAME>count.txt

      VARE[2]=$(egrep -o -c '<img '*' src=' count.txt )

      #nbr_file_css=($(grep -o -c '<link '.'*.css' $FILENAME ))
      egrep -o 'rel="stylesheet' $FILENAME>count.txt

      VARE[3]=$(egrep -o -c 'rel="stylesheet' count.txt )

      #nbr_file_js=$(grep -o -c '<script '.'*.js' $FILENAME)
      egrep -o 'src="[^"]*\.js' $FILENAME>count.txt

      VARE[4]=$(egrep -o -c 'src="[^"]*\.js' count.txt )
      rm count.txt

      #FILESIZE=$(stat -c%s "$FILENAME")
      VARE[5]=$(stat -c%s "$FILENAME")

      #DATE_TEST=$(date '+%Y-%m-%d-%R-%S')
      VARE[6]=$(date '+%Y-%m-%d-%R-%S')
      #get ip adress
      nslookup $1 > ip.txt
      VARE[7]=$(tail -n 2 ip.txt)

      echo ${VARE[1]}
      echo *#*
      echo ${VARE[2]}
      echo *#*
      echo ${VARE[3]}
      echo *#*
      echo ${VARE[4]}
      echo *#*
      echo ${VARE[5]}
      echo *#*
      echo ${VARE[6]}

    2. @sahhra_ahhraOk pour ton script, mais peut-on avoir le lien de la page à traiter ?
    3. pour le lien je prend par exemple
      wget $1 -O 	page.html

      je prend a un url aléatoire par exemple commentcamarche.com
    4. Pour récupérer le poids d'une image (en octet) :
      curl -s --head http://adresse.image.png | grep -Po 'Content-Length: \K.*'