Sed et substitutions balises html

Résolu
Salut,

je dois louper qquechose avec le texte suivant, dans un fichier html

<head> 
     <title>Titre</title> 
  <link rel="stylesheet" media="screen" type="text/css" title="design" href="design.css" /> 
</head>
<body> 
<h1>Voici les instructions, monsieur X</h1><br /> <br />  <br /> 
<center><img src="images/6.gif" /> Rapport 2.220 <strong>[1]</strong> -02/11/2008- Windows XP <img src="images/6.gif" /></center>  <br />  <br /> 
<center><strong>il est conseillé de suivre la procédure suivante: </center></strong> <br /> <br /> 
<div class="decalage1"><img src="images/1.gif" /> Aller sur ce site <a href="http://www.blabla.html"><em>Nod32</em></a> <br /> 
- Faire ceci, puis cela :  <br /> 
- C:\Program Files\<strong>log.txt</strong></div>
</body>
</html><p> 


je voudrais supprimer tout ce qui est entre <> pour épurer ce fichier html de ses balises et le rendre lisible dans un fichier txt. J'utilise ces expression régulières merdiques

cat Fichier.html | sed 's/<.*>//g;s/<\/.*>//g'


qui donne en conséquence ce résultat merdique :)







il est conseillé de suivre la procédure suivante:

- Faire ceci, puis cela :
- C:\Program Files\


bref, pas mal de texte est zappé. Est-ce que vous auriez plus fin à me proposer ?

Merci
Configuration: Linux Suse
Firefox 3.0.3

19 réponses

Résumé de la discussion

Le sujet porte sur l'épuration d'un fichier HTML en retirant les balises entre chevrons tout en préservant les URLs et le texte utile dans une version lisible en fichier texte. Plusieurs réponses proposent des expressions régulières adaptées, par exemple utiliser des motifs comme <[^>]*> ou <[^&]*>, avec des variantes utilisant des délimiteurs alternatifs et le paramètre global pour traiter les occurrences sur chaque ligne. En cas de difficultés, les échanges tournent autour des retours à la ligne et des URL, avec des combinaisons de substitutions ciblées et des délimiteurs robustes pour limiter l'étendue et préserver le texte utile.

Bobot (l’IA à votre service)
  1. Modérateur
    Concernant les délimiteurs, voir Délimiteur de commande dans la FAQ.

    Concernant la gourmandise des regex, voir Gourmandise des expressions régulières.

    Pour étoffer un peu, les regex sont très gourmandes, si tu mets "<.*>' cela va englober tout ce qui se trouve entre le 1er < et le dernier > sur la ligne.
    Avec l'expression "<[^>]*>" on limite la portée au 1er > rencontré, d'où la nécessité de préciser le "g" (global), pour répéter l'expression autant de fois quelle sera rencontrée sur la ligne.
    1. Contributeur
      Salut,

      merci, mais ça ne marche pas : caractère 27: commande `s' inachevée, même avec deux | + combinaison

      cat Fichier.html | sed 's|<a *href=\("[^"]"\)>/\1||g;s|<[^>]*>||g'


      il n'y a plus les retours lignes et surtout plus aucune URL alors que j'arrive à en récupérer au moins une
      1. Contributeur
        Merci jipicy ça fonctionne. Je vois que tu as changé les séparateurs, c'est important où c'est pour améliorer la lisibilité ?

        Sinon est-ce que tu peuix me dire en quoi ma proposition n'était pas bonne, stp ? visiblement ça ratissait trop large mais j'avoue ne pas très bien saisir pourquoi
        1. Modérateur
          Salut,

          Complément d'infos ;-)

          [^>] c'est une classe de caractères complémentée qui veut dire "reconnaître un caractère non énuméré" et non "ne pas reconnaître le caractère énuméré"
          Le quantificateur * permet de reconnaître zéro fois, une fois ou autant de fois que la classe peut
          Dans ce cas même un <> sera supprimé
          1. Contributeur
            Avec l'expression "<[^>]*>" on limite la portée au 1er 


            super, c'est exactement ce que j'avais cherché à faire, sans trouver les bons mot-clés

            Merci encore à vous deux pour ces compléments d'info :)
            1. Contributeur
              Pardon, je reviens un instant vers vous car un pb se pose. Je souhaiterais que sed épargne tous les liens de type

              <a href="http://www.URL.htm">


              càd le substitue par http://www.URL.htm, sans les guillemets bien entendu

              avant d'effectuer ses substitutions. J'ai donc étendu la commande :

              cat Fichier.html | sed 's/<a href=\"//g;s/<br \/>/\n/g;s/<[^>]*>//g;s/\">/ /g'


              en essayant d'intervertir la position de <a href=\"//g et \">/ /g mais ça ne matche pas à tous les coups (ça supprime quelques URL parfois)

              Le but est en priorité de conserver les URL, il faut également substituer les <br /> par des sauts de ligne (d'où le s/<br \/>/\n/g) et ensuite virer tout ce qui est entre crochets

              Je précise que le seul unixutil dont je dispose c'est sed, normalement ça se passe sous windows avec sed-3.59.exe (je fais des essais sous Linux dans l'immédiat)
              1. Modérateur
                Salut,

                essaie d'abord
                sed 's|<a *href=\("[^"]"\)>/\1|g' 
                et ensuite
                sed 's|<[^>]*>||g'
                P.S. Je n'ai pas testé
                1. Modérateur
                  Oups, j'ai oublié que le séparateur est |

                  au lieu de
                  sed 's|<a *href=\("[^"]"\)>/\1|g' mettre
                  sed 's|<a *href=\("[^"]"\)>|\1|g' 

                  1. Modérateur
                    Salut,

                    Essaye ça :
                     sed 's|<br />|\n|g;s|\(<a href=\"\)\([^"]*\)\([^>]>\)|\2 |g;s|<[^>]*>||g' fichier.html
                    1. Modérateur
                      Salut,

                      Pourquoi tu fais autant des captures?!
                    2. Modérateur
                      @lami20jParc qu'il faut préserver le reste, on ne veut pas simplement capturer l'URL, mais aussi ce qu'il y a autour en dehors des <.*> ;-))
                    3. Modérateur
                      @jipicyBen, pas toute à fait vu que tu n'utilises que la deuxième références arrière \2
                      D'où ma question.
                    4. Modérateur
                      @lami20jOups t'as raison, avec une ça suffit ;-((

                      Merchi ;-))
                  2. Contributeur
                    cat Fichier.html | sed 's|<a *href=\("[^"]"\)>|\1|g;s|<[^>]*>||g'


                    non, il me bouffe tous les <a href="http://URL">

                    mince, c'est pénible... :)
                    1. Modérateur
                      Mince, j'ai oubilé le quantificateur
                      Mon expression cherchais seulemetn un caractère
                      sed 's|<a *href=\("[^"]*"\)>|\1|g' 


                      Teste la ligne de jipicy.
                      Au moins il a la possibilité de tester ;-))
                      1. Contributeur
                        aucune des solutions ne marche entièrement

                        jipicy : ta commande me bouffe 1 URL sur deux

                        celle-là <a href="http://URL.exe"> => OK
                        celle-ci <a href="http://URL.htm"><em>ICI</em></a> <strong> => n'apparait pas
                        1. Modérateur
                          On peut avoir un exemplaire du fichier html s'il te plait ? (au cas ou en MP si problème de droits ou autre...)
                        2. Modérateur
                          Ben je viens de refaire des tests avec les différentes URL et chez moi ça marche bien :
                          jp@MDK:~/tmpfs ssh$ cat fichier.html
                          <head>
                               <title>Titre</title>
                            <link rel="stylesheet" media="screen" type="text/css" title="design" href="design.css" />
                          </head>
                          <body>
                          <h1>Voici les instructions, monsieur X</h1><br /> <br />  <br />
                          <center><img src="images/6.gif" /> Rapport 2.220 <strong>[1]</strong> -02/11/2008- Windows XP <img src="images/6.gif" /></center>  <br />  <br />
                          <center><strong>il est conseillé de suivre la procédure suivante: </center></strong> <br /> <br />
                          <div class="decalage1"><img src="images/1.gif" /> Aller sur ce site <a href="http://www.blabla.html"><em>Nod32</em></a> <br />
                          <a href="http://URL.exe">cliquer ici</a><br />
                          celle-là <a href="http://URL.exe"> => OK</a><br />
                          celle-ci <a href="http://URL.htm"><em>ICI</em></a> <strong> => n'apparait pas <br />
                          - Faire ceci, puis cela :  <br />
                          - C:\Program Files\<strong>log.txt</strong></div>
                          </body>
                          </html><p>
                          
                          jp@MDK:~/tmpfs ssh$ sed 's|<br />|\n|g;s|<a href=\"\([^"]*\)[^>]>|\1 |g;s|<[^>]*>||g' fichier.html
                          
                               Titre
                          
                          
                          
                          Voici les instructions, monsieur X
                          
                          
                          
                           Rapport 2.220 [1] -02/11/2008- Windows XP
                          
                          
                          il est conseillé de suivre la procédure suivante:
                          
                          
                           Aller sur ce site http://www.blabla.html Nod32
                          
                          http://URL.exe cliquer ici
                          
                          celle-là http://URL.exe  => OK
                          
                          celle-ci http://URL.htm ICI  => n'apparait pas
                          
                          - Faire ceci, puis cela :
                          
                          - C:\Program Files\log.txt
                          
                          
                          jp@MDK:~/tmpfs ssh$
                          ;-\

                          ;-))
                      2. Contributeur
                        Excusez-moi, encore une question au sujet de ceci :

                        Avec l'expression "<[^>]*>" on limite la portée au 1er > rencontré, d'où la nécessité de préciser le "g" (global), pour répéter l'expression autant de fois quelle sera rencontrée sur la ligne.

                        Est-ce que c'est possible de l'appliquer sur un grep de ce type

                        Expression | grep.exe -o [a-zA-Z]:\\.*\.[a-zA-Z]\{3\}


                        là je souhaite matcher tous les chemins de fichiers dont l'extension ne comporte que 3 caractères (pas trouvé d'autre soluce + générale, pour le cas des fichiers .html par exemple), le pb c'est justement la gourmandise de cette regexp qui va aller au bout de la ligne chercher ce .extension, et donc du coup tout foire si jamais sur la même ligne il y a

                        C:\chemin\fichier.exe C:\fichier.txt

                        càd qu'il va lister uniquement :

                        C:\chemin\fichier.exe C:\fichier.txt


                        et non pas

                        C:\chemin\fichier.exe
                        C:\fichier.txt


                        Comment l'arrêter à la première occurence de ce . mais continuer sur les autres motifs ? les essais que j'ai tenté avec l'expression de jipicy couplé à l'option -m 1 s'arrêtent net dès la première occurence, impossible de lire un fichier entier

                        Merci
                        1. Modérateur
                          Salut,
                          $ cat eZula
                          C:\chemin\fichier.exe C:\fichier.txt
                          C:\chemin\fichier.exe C:\fichier.txt
                          
                          $ cat eZula |grep -Eo '[a-zA-Z]:\\.*\.[a-zA-Z][a-zA-Z][a-zA-Z]'
                          C:\chemin\fichier.exe C:\fichier.txt
                          C:\chemin\fichier.exe C:\fichier.txt
                          $ for i in $(cat eZula |grep -Eo '[a-zA-Z]:\\.*\.[a-zA-Z][a-zA-Z][a-zA-Z]');do echo $i;done
                          C:\chemin\fichier.exe
                          C:\fichier.txt
                          C:\chemin\fichier.exe
                          C:\fichier.txt
                          $ cat eZula |grep -Eo '[a-zA-Z]:\\.*\.[a-zA-Z][a-zA-Z][a-zA-Z]'|sed 's/ /\n/'
                          C:\chemin\fichier.exe
                          C:\fichier.txt
                          C:\chemin\fichier.exe
                          C:\fichier.txt
                          
                          1. Contributeur
                            Merci lamij

                            pour windows

                            type fichier | grep -Eo [a-zA-Z]:\\.*\.[a-zA-Z][a-zA-Z][a-zA-Z] | sed "s/ /\n/" > z.txt & sed -i "s/$/\r/g" z.txt


                            obligé de remplacer ces fichues fins de ligne,

                            curieusement sed "s/ /\n/;s/$/\r/g" ne marche qu'à moitié dans ton expression, c'est normal ?