Tokenisation des mot

// la lecture du corpus
	public static void lectureCorpus(final File file) throws IOException {
		fr = new FileReader(file);
		br = new BufferedReader(fr);
		String ligne = br.readLine();

		// comme il ya pas grand nombre de ligne lire, on a pas besoin la boucle
		// while
		System.out.println("-----------------lecture du fichier exemple.fr ou le corpus---------------------------");
		System.out.println(ligne);
		System.out.println("-----------apres la tokenisation----------");
		String[] lineTk = null;
		lineTk = ligne.split("\\s");
		
		for(String str:lineTk){
			System.out.println(str);
		}
		// tokenisation du corpus
//		StringTokenizer tk = new StringTokenizer(ligne, ",'!! ");
//
//		//
//		List<String> listString = new ArrayList<String>();
//		while (tk.hasMoreTokens()) {
//			//listString.add(tk.nextToken());
//			System.out.println(tk.nextToken());
//		}
//		System.out.println("la taille de la liste de tokenisé " + listString.size());
		//String n = traduction(listString);

		// fermeture du fichier
		closeFichier();

	}