utilisation de la classe StringExtractor Fermé

Question

Bonjour, 

Je souhaite récupérer le contenu texte d'une page web. Pour cela, j'ai tenté d'utiliser la fonction extractStrings de la classe StringExtractor. Mais le type StringExtractor n'est pas reconnu. Comment le définir ?

merci d'avance pour vos réponses.

import java.util.regex.Matcher;
import java.util.regex.Pattern;
import java.lang.Object;

public class test {
			
    public static String CopyText(String URL) {
		
    StringExtractor se = new StringExtractor(URL);
    String contents = se.extractStrings(true);
    Pattern p = Pattern.compile("<[^>]*>");   
    Matcher m = p.matcher(contents);

    String text = m.replaceAll(" ");
	    
    return text;
    }
	
    public static void main(String[] args) {
		String URL = "http://htmlparser.sourceforge.net";
		String extrait = "";
		
		extrait = CopyText(URL);
		System.out.println("l'extrait de la page web est:");
		System.out.println(""+extrait);
    }

}

KX · Answer

StringExtractor n'est pas une classe standard de Java, si tu utilises une bibliothèque complémentaire réfères toi à sa documentation, mais je pense qu'il est tout à fait possible de faire ce que tu veux avec les classes standards. Il va juste falloir expliquer quel résultat tu souhaiterais obtenir avec ton "<[^>]*>" Exemple (affiche tout le contenu de la page, sauf ce qui est entre balise <>) import java.net.URL; import java.util.Scanner; public class TestParser { public static void main(String[] args) throws Exception { String spec = "http://htmlparser.sourceforge.net"; Scanner sc = new Scanner(new URL(spec).openStream()); sc.useDelimiter("<[^>]*>"); while (sc.hasNext()) System.out.println(sc.next()); sc.close(); } }

janroll · Answer

J'aimerais récupérer juste la partie utile de la page web, c'est-à-dire enlever du code source les éléments qui ne servent pas (balises, éléments de menu, etc...). Idéalement, j'aimerais récupérer un texte cohérent d'une taille limitée.

KX · Answer

Donc avec mon Scanner je n'étais pas trop mal parti, il faudrait juste enlever les lignes vides qui s'accumulent :

import java.net.URL;
import java.util.Scanner;

public class TestParser 
{
    public static void main(String[] args) throws Exception 
    {
        String spec = "http://htmlparser.sourceforge.net";
        Scanner sc = new Scanner(new URL(spec).openStream());
        
        while (sc.hasNextLine())
        {
            String line = sc.nextLine().replaceAll("<[^>]*>", "");
            if (!line.trim().isEmpty())
                System.out.println(line);
        }
        sc.close();
    }
}

janroll · Answer

Merci, ça fonctionne !
Aurais-tu une idée pour enlever tout ce qui est titre, date de publication, menu ?

janroll · Answer

OK, je vois.
Ce qui m'importe, c'est d'avoir un contenu propre. Si je perds du contenu en croyant que c'était un menu ou autre, ce n'est pas grave. De toutes façons, j'aimerais ne récupérer qu'une petite partie de la page web (style un paragraphe).

janroll · Answer

ça fonctionne bien avec certains sites ; avec d'autres, il y a des problèmes d'accents et des restants. j'ai besoin de récupérer le contenu de la page dans une variable String. J'ai essayé ça mais ça ne marche pas : public class test { public static String CopyText(String adresse) { Scanner sc = new Scanner(new URL(adresse).openStream()); String resultat = ""; sc.useDelimiter("

"); while (sc.hasNext()) { sc.next(); sc.useDelimiter("

"); if (sc.hasNext()) System.out.println(sc.next().replaceAll("<[^>]*>", "")); resultat = resultat + sc.next().replaceAll("<[^>]*>", ""); sc.useDelimiter("

"); } sc.close(); return resultat; } public static void main(String[] args) throws Exception { String extrait = ""; extrait = CopyText("http://ww5.agent-virtuel.fr"); System.out.println(resultat); } }

Utilisation de la classe StringExtractor

6 réponses

Discussions similaires