Reg exp et sed

en effet, j'ai complètement omis d'échapper les accolades et le plus.

Pourtant, cela ne marche toujours pas sur mon fichier, des retour a la ligne apparaissent en enlevant des lettres en début de ligne... je crains que le script python que j'utilise juste avant pour nettoyer le code html en txt ne me crée plus de problèmes. qu'autre chose.

En tout cas merci pour se petit rappelle de regexp :)

malheureusement, il y a un espace sur les lignes. Peux tu m'expliquer la partie {N;/^\n$/D} de ton sed, de la je pourrai peut etre y arriver

d'avance merci

Donc il faut seulement remplacer 4 lignes vides consécutives, c'est ça ?

le but est de découper les paragraphes dans differents fichiers text ( un fichier par paragraphe )

le texte est du type:


blablablablabla [en début de ligne ici : 2 espaces ]
blablablabla [ pas d espace en début de ligne ici ]
[en début de ligne ici 1 espace]
[en début de ligne ici 1 espace]
[en début de ligne ici 1 espace]
[en début de ligne ici 1 espace]
blablablablablablablabla [en début de ligne ici : 2 espaces ]
blablabalbal
balbalbalbalblablabl




blablablablabla [en début de ligne ici : 2 espaces ]
balbalbalblablablalb


voila le formatage des paragraphes. Je veux par exemple rajouter un # pour m'en servir comme délimiteur pour la suite utiliser cut -d sur ce fichier et répartir les paragraphes dans des fichiers distincts.

Je suis désolé si je ne suis pas clair, demandez moi plus d'info :)

Euh... effectivement ce n'est pas très clair ;-(

Essaye d'encadrer ton texte avec les balises <code> et </code> afin de faire ressortir les espaces :

  blablablablabla [en début de ligne ici : 2 espaces ]
blablablabla [ pas d espace en début de ligne ici ]
 [en début de ligne ici 1 espace]
 [en début de ligne ici 1 espace]
 [en début de ligne ici 1 espace]
 [en début de ligne ici 1 espace]
  blablablablablablablabla [en début de ligne ici : 2 espaces ]
blablabalbal
balbalbalbalblablabl 

Sinon, essaye avec ça déjà :

 sed '/^$/{:z;N;s/^\n\n\n$/#/;T z}'

;-)

Il y a donc differents paragraphes, chaque paragraphe commence par 2 espaces. Puis entre chaque paragraphe, il y a 4 lignes composées juste d'un espace. Le texte est donc comme ca :

  Blablablablablablablabla
blablablablablablablabla
balbalbalblab.
 
 
 
 
  Blablablablablablablabla
balbalbalblablablablablab
lablablablablablablablabla
blablabal.
 
 
 
 
  Blablablablablablablabla
blablabal.

J'espere que ce sera plus lisible.

substantially develop in harmony with existing EU environmental law. As an economic sector aquaculture is stalled within the European Union. Structural support for the aquaculture sector is essential. In conclusion, Madam President, let me say in an Irish context I would support a special programme of incentives designed to promote the development of off-shore, high-energy fish farming and more economic conditions than currently practised.
 
 
 
 
  Isabella Lövin,  för Verts/ALE-gruppen . -  Fru talman Tack så mycket för betänkandet om vattenbruk. Vi är mycket glada att Guido Milana tagit upp så många problem på ett seriöst sätt i detta betänkande, framför allt de som handlar om djurhälsa, lokala miljöproblem och behovet av en integrerad havspolitik, och i synnerhet att betänkandet erkänner problemet med att fiskätande odlad fisk kräver vild fisk för att kunna odlas samt att det slår fast att EU bör prioritera odling av växtätande fisk.
Det vi är lite skeptiska till i betänkandet är förslaget om att införa en EU-märkning, en miljömärkning av fisk. Vi anser att inte vare sig enskilda stater eller EU ska sköta miljömärkning, utan att EU ska ha så bra miljölagar att ursprungsmärkning ska räcka som garanti för en hög miljö- och djurstandard. Övrig miljömärkning får gärna ske på frivillig eller privat basis och ska driva utvecklingen framåt.
 
 
 
 
  Marek Józef Gróbarczyk,  w imieniu grupy ECR . - Pani Przewodnicz?ca Ja równie? chcia?bym serdecznie podzi?kowa? sprawozdawcy za to sprawozdanie, które jest bardzo dobrze przygotowane. Chcia?bym jednak zwróci? uwag?, i? akwakultura stanowi niezwykle wa?ny element w zakresie zatrudnienia, szczególnie aktywowania obszarów nadmorskich, oraz zdrowej ?ywno?ci. Trzeba powiedzie?, i? bez dodatkowych impulsów, czyli regionalizacji akwakultury, nie ma ona szans na rozwój w odpowiednich regionach Europy. Mówi? tutaj np. o Morzu Ba?tyckim, gdzie akwakultura jest szcz?tkowym zjawiskiem i nie ma mo?liwo?ci na jej rozwój ze wzgl?du na warunki klimatyczne. Np. w Szwecji w akwakulturze jest zatrudnionych tylko 200 osób, jeszcze mniej w Polsce. Dlatego zwracam szczególn? uwag? na ten element wspólnej polityki rybackiej. 

est ce que votre code marche sur cette partie du texte ?
car la regexp semble parfaite, mais appliquée à mon fichier, rien.. :(

Oui elle marche parfaitement ;-)

jp@MDK:~/tmpfs ssh$ sed '/^ $/{:z;N;s/^ \n \n \n $/#/;T z}' gloria
substantially develop in harmony with existing EU environmental law. As an economic sector aquaculture is stalled within the European Union. Structural support for the aquaculture sector is essential. In conclusion, Madam President, let me say in an Irish context I would support a special programme of incentives designed to promote the development of off-shore, high-energy fish farming and more economic conditions than currently practised.
#
  Isabella Lövin,  för Verts/ALE-gruppen . -  Fru talman Tack så mycket för betänkandet om vattenbruk. Vi är mycket glada att Guido Milana tagit upp så många problem på ett seriöst sätt i detta betänkande, framför allt de som handlar om djurhälsa, lokala miljöproblem och behovet av en integrerad havspolitik, och i synnerhet att betänkandet erkänner problemet med att fiskätande odlad fisk kräver vild fisk för att kunna odlas samt att det slår fast att EU bör prioritera odling av växtätande fisk.
Det vi är lite skeptiska till i betänkandet är förslaget om att införa en EU-märkning, en miljömärkning av fisk. Vi anser att inte vare sig enskilda stater eller EU ska sköta miljömärkning, utan att EU ska ha så bra miljölagar att ursprungsmärkning ska räcka som garanti för en hög miljö- och djurstandard. Övrig miljömärkning får gärna ske på frivillig eller privat basis och ska driva utvecklingen framåt.
#
  Marek Józef Gróbarczyk,  w imieniu grupy ECR . - Pani Przewodnicz?ca Ja równie? chcia?bym serdecznie podzi?kowa? sprawozdawcy za to sprawozdanie, które jest bardzo dobrze przygotowane. Chcia?bym jednak zwróci? uwag?, i? akwakultura stanowi niezwykle wa?ny element w zakresie zatrudnienia, szczególnie aktywowania obszarów nadmorskich, oraz zdrowej ?ywno?ci. Trzeba powiedzie?, i? bez dodatkowych impulsów, czyli regionalizacji akwakultury, nie ma ona szans na rozwój w odpowiednich regionach Europy. Mówi? tutaj np. o Morzu Ba?tyckim, gdzie akwakultura jest szcz?tkowym zjawiskiem i nie ma mo?liwo?ci na jej rozwój ze wzgl?du na warunki klimatyczne. Np. w Szwecji w akwakulturze jest zatrudnionych tylko 200 osób, jeszcze mniej w Polsce. Dlatego zwracam szczególn? uwag? na ten element wspólnej polityki rybackiej.
jp@MDK:~/tmpfs ssh$

Resta à savoir comment est formaté ton fichier ?

Affiche :

cat -A ton_fichier

en effet............. -_-"

M-CM-^Nn acest sens, consider binevenitM-DM-^C decizia de a se prelungi cu un an mandatul AdunM-DM-^Crii Constituante. Este foarte important ca Nepalul sM-DM-^C adopte o constituM-EM-#ie care sM-DM-^C asigure buna funcM-EM-#ionare a statului de drept M-EM-^_i respectarea libertM-DM-^CM-EM-#ilor cetM-DM-^CM-EM-#enilor. M-CM-^Nn final, doresc sM-DM-^C subliniez faptul cM-DM-^C cele mai importante ameninM-EM-#M-DM-^Cri la adresa stabilitM-DM-^CM-EM-#ii Nepalului sunt extremismul M-EM-^_i recurgerea la violenM-EM-#M-DM-^C pentru rezolvarea diferendelor politice.$
M-BM- $
M-BM- $
M-BM- $
M-BM- $
M-BM- M-BM- Zbigniew Ziobro,  w imieniu grupy ECR . M-bM-^@M-^S  Panie PrzewodniczM-DM-^Ecy Sytuacja w Nepalu nieprzerwanie od lat budzi zaniepokojenie obserwatorM-CM-3w. Co prawda w 1959 r. odbyM-EM-^By siM-DM-^Y tam pierwsze w miarM-DM-^Y demokratyczne wybory, te jednak rozwiM-DM-^Ezania demokratyczne byM-EM-^By bardzo chwiejne, rozdzierane aktami agresji. W ostatnich latach wydawaM-EM-^Bo siM-DM-^Y, M-EM-<e byliM-EM-^[my M-EM-^[wiadkami pewnego postM-DM-^Ypu w zakresie bezpieczeM-EM-^Dstwa. Najpierw w 2006 roku zawarto kompleksowe porozumienie pokojowe, ktM-CM-3re zakoM-EM-^DczyM-EM-^Bo trawiM-DM-^EcM-DM-^E kraj przez dekadM-DM-^Y wojnM-DM-^Y domowM-DM-^E. PM-CM-3M-EM-:niej w 2008 roku odbyM-EM-^By siM-DM-^Y wybory do Zgromadzenia Konstytucyjnego, ktM-CM-3re miM-DM-^Ydzynarodowi obserwatorzy uznali za speM-EM-^BniajM-DM-^Ece szereg norm miM-DM-^Ydzynarodowych. $
Teraz jednak z przykroM-EM-^[ciM-DM-^E trzeba zauwaM-EM-<yM-DM-^G pogorszenie siM-DM-^Y sytuacji w tym kraju. PodjM-DM-^Yta przez partie polityczne w ostatnich dniach decyzja o koniecznoM-EM-^[ci dziaM-EM-^Bania na rzecz rozszerzenia uprawnieM-EM-^D Zgromadzenia Konstytucyjnego moM-EM-<e byM-DM-^G istotnym krokiem na drodze powrotu do pokojowego rzM-DM-^Edzenia krajem. Unia Europejska i paM-EM-^Dstwa czM-EM-^Bonkowskie powinny wspieraM-DM-^G wszelkie wysiM-EM-^Bki zmierzajM-DM-^Ece do ustanowienia porozumienia i stabilnoM-EM-^[ci w tym kraju. NaleM-EM-<y rM-CM-3wnieM-EM-< przypomnieM-DM-^G o koniecznoM-EM-^[ci przestrzegania praw czM-EM-^Bowieka, praw chrzeM-EM-^[cijan, ktM-CM-3re teM-EM-< w tym kraju sM-DM-^E niestety naruszane. $
M-BM- $
M-BM- $
M-BM- $
M-BM- $
M-BM- M-BM- Ryszard Czarnecki (ECR ). - Nie bM-DM-^YdM-DM-^Y czytaM-EM-^B, bM-DM-^YdM-DM-^Y mM-CM-3wiM-EM-^B, ale obiecujM-DM-^Y, M-EM-<e wolno, chociaM-EM-< jest to wbrew mojej naturze. $

alors que je cherchais avec cet affichage :

În acest sens, consider binevenit? decizia de a se prelungi cu un an mandatul Adun?rii Constituante. Este foarte important ca Nepalul s? adopte o constitu?ie care s? asigure buna func?ionare a statului de drept ?i respectarea libert??ilor cet??enilor. În final, doresc s? subliniez faptul c? cele mai importante amenin??ri la adresa stabilit??ii Nepalului sunt extremismul ?i recurgerea la violen?? pentru rezolvarea diferendelor politice.
 
 
 
 
  Zbigniew Ziobro,  w imieniu grupy ECR . -  Panie Przewodnicz?cy Sytuacja w Nepalu nieprzerwanie od lat budzi zaniepokojenie obserwatorów. Co prawda w 1959 r. odby?y si? tam pierwsze w miar? demokratyczne wybory, te jednak rozwi?zania demokratyczne by?y bardzo chwiejne, rozdzierane aktami agresji. W ostatnich latach wydawa?o si?, ?e byli?my ?wiadkami pewnego post?pu w zakresie bezpiecze?stwa. Najpierw w 2006 roku zawarto kompleksowe porozumienie pokojowe, które zako?czy?o trawi?c? kraj przez dekad? wojn? domow?. Pó?niej w 2008 roku odby?y si? wybory do Zgromadzenia Konstytucyjnego, które mi?dzynarodowi obserwatorzy uznali za spe?niaj?ce szereg norm mi?dzynarodowych. 
Teraz jednak z przykro?ci? trzeba zauwa?y? pogorszenie si? sytuacji w tym kraju. Podj?ta przez partie polityczne w ostatnich dniach decyzja o konieczno?ci dzia?ania na rzecz rozszerzenia uprawnie? Zgromadzenia Konstytucyjnego mo?e by? istotnym krokiem na drodze powrotu do pokojowego rz?dzenia krajem. Unia Europejska i pa?stwa cz?onkowskie powinny wspiera? wszelkie wysi?ki zmierzaj?ce do ustanowienia porozumienia i stabilno?ci w tym kraju. Nale?y równie? przypomnie? o konieczno?ci przestrzegania praw cz?owieka, praw chrze?cijan, które te? w tym kraju s? niestety naruszane. 
 
 
 
 
  Ryszard Czarnecki (ECR ). - Nie b?d? czyta?, b?d? mówi?, ale obiecuj?, ?e wolno, chocia? jest to wbrew mojej naturze. 

Il faut décoder toutes ces séquences contenant des caractères de contrôle et savoir à quoi elles correspondent pour pouvoir adapter la regex ;-\

Peux-tu poster un bout de ton fichier (avec les fameux caractères) sur Ci-joint.fr afin qu'on puisse examiner ça de plus près ?

http://www.cijoint.fr/cjlink.php?file=cj201006/cijbqFfpKa.txt

merci beaucoup, je ne m'en sortais plus

avec awk et comme début d'intervalle .\n ça ne peut pas fonctionner ici a cause du format du fichier texte ( les retour a la ligne ont un code bizarre, voir dans un post plus haut avec le détail des caractères du fichier )

mais maintenant que j'ai mes paragraphes découpés par un #, un awk peut me servir dans une moulinette pour avoir mes différents fichiers ?

J'ai testé avec le fichier que tu as joint plus haut. Si le fichier final est différent, alors...

Pour un traitement "one shot" sed+awk convient mais s'il s'agit d'un travail récurrent sur de gros fichiers, il est sera plus efficace de tout faire en awk. Moins de process. Une seule passe. Plus propre quoi.

Salut,

On parle bien de ce fichier (sur Ci-joint.fr) ? ;-)

hum, oui sur ce genre de fichier, en effet . Travail récurrent sur des fichiers plutot volumineux.

A quel partie du poste répondez vous ?
-> pour découper le fichier en plusieurs fichiers selon les paragraphes
oui, mais je ne connais pas awk du tout et le formatage de mon fichier me dérange en plus.
Vous auriez une solution ( accompagnée de l'explication pour que je sois moins bete ce soir ) à me proposer ? :)

> On parle bien de ce fichier (sur Ci-joint.fr) ? ;-)

Oui. Celui-là. Mon test awk semble marcher sur ce fichier bien que le RS devra sans doute s'affiner.

> explication sommaire
Dans mon exemple il prendra les 4 "lignes vides" (qui ne le sont pas vraiment) comme séparateur d'enregistrement (RS). En fait il y a un caractère multi-octet devant chaque \n. D'où le motif .\n

Donc en faisant:
awk --re-interval 'BEGIN{RS="(.\n){4}"}' in_file Les paragraphes séparés par les blocs de 4 "utf8+retour à la ligne" devraient s'afficher. Pour la redirection vers des fichiers distincts, il faudrait nous en dire plus.

Edit:

Fais un essai avec ceci:
awk --re-interval 'BEGIN{RS="(.\n){4}"}{print > "/tmp/gloria_"NR}' in_file
Les paragraphes découpés se retrouveront dans /tmp/ avec un fichier par paragraphe. A tester.

la cmd ne renvoie rien de concluant. j'ai testé en créant moi meme le fichier de destination et celui ci n'est pas découpé ni ne comporte que le premier paragraphe.

le .\n ne semble pas reconnu d'apres moi

Si ça ne marche pas c'est peut être du a tes "locale"...

Que te renvoie la commande :

locale

Chez moi, sur une Mandriva 2006 en iso-8859-1 la commande ne marche pas, alors que sur une Mandriva 2009 en UTF-8 il n'y a pas de problème ;-\

avec locale :
LANG=fr_FR.UTF-8
LC_CTYPE="fr_FR.UTF-8"
LC_NUMERIC="fr_FR.UTF-8"
LC_TIME="fr_FR.UTF-8"
LC_COLLATE="fr_FR.UTF-8"
LC_MONETARY="fr_FR.UTF-8"
LC_MESSAGES="fr_FR.UTF-8"
LC_PAPER="fr_FR.UTF-8"
LC_NAME="fr_FR.UTF-8"
LC_ADDRESS="fr_FR.UTF-8"
LC_TELEPHONE="fr_FR.UTF-8"
LC_MEASUREMENT="fr_FR.UTF-8"
LC_IDENTIFICATION="fr_FR.UTF-8"
LC_ALL=

donc je ne sais pas trop

;-\

J'ai les mêmes locales sur ma MDK 2009 ;-\

Faudrait voir l'encodage du fichier :

file le_fichier

PS. Tu ne nous a toujours pas dit quel système (ou distrib) tu as ?

euh, ubuntu 8.10 ?

file lefichier:

EuroParl-Multimedia/debat1.txt: UTF-8 Unicode English text, with very long lines