Liste txt, supprimé les deux doublon Fermé

Question

Bonjour.

Désolé si je ne suis pas au bonne endroit.
J'ai une lite de ligne dans un fichier txt et j'aimerais supprimé toutes les ligne en double sans laisser une des ligne qui avait été en double, par exemple.

A
B
B
C
D
D

Je voudrais que ca donne

A
C

Je n'ai pas excel et j'avais deja utilisé ma version d'essai avec mon windows, donc je voudrais faire ca avec un logiciel gratuit comme notepad ++. Si quelqu'un sais comment faire svp.

Merci.

acefalo · Answer

Bonjour,

Je ne peux pas tester en ce moment avec Notepad ++ (je suis sous Linux principalement), mais j'ai trouvé cela (N'oubliez pas de travailler avec une copie du fichier) :

Vous sélectionnez les lignes et dans le menu Édition
Edit->Line Operations->Sort Lines Lexicographically Ascending
Edit->Line Operations->Remove Consecutive Duplicate Lines

Je vais vous donner un exemple avec LibreOffice Calc un logiciel libre et gratuit. La démarche est plus longue, mais j'ai testé et cela fonctionne.

Vous commencez par copier vos lignes dans la colonne A. 

À la cellule B1, vous copiez la formule suivante : =NB.SI(A:A;A1). Vous tirez ensuite sur le petit carré noir en bas à droite de la cellule B1 pour vous rendre jusqu'en bas. Vous obtiendrez alors ce résultat : 

A  1
B  2
B  2
C  1
D  2
D  2

Vous cliquez ensuite en haut sur la colonne A (pour la sélectionner en entier) puis vous vous déplacez vers la droite (en gardant le bouton gauche de la souris enfoncé) pour sélectionner aussi la colonne B en entier.
Ensuite, vous allez dans le menu.
Données/Plus de filtres/Filtre standard

Nom de champ : colonne B
Condition : =
Valeur : 1

Vous déroulez le menu Options.
Vous cochez Copier le résultat vers : D1
Vous cliquez sur Valider.

Vous aurez le résultat suivant :
A  1
C  1

Vous pouvez copier la colonne unique.

vinc · Answer

Bonjour acefalo La manip avec notepad ++ me laisse une des ligne qui été en double, donc ca ne fonctionne pas.

Par contre avec Libreoffice Calc cela fonctionne très bien. J'hallucine sur la complexité de la manip, je me demande qui trouve des truc comme ca lol.

Par contre quand je dois tirer sur le petit carré noir en bas à droite de la cellule B1 pour me rendre jusqu'en bas, je me demande si il n y aurait pas un moyen de le tirer jusque en bas sans faire glisser, car si la liste est logue ca risque d'être un peux compliquer.

En tous cas merci beaucoup, ça m'a beaucoup aider.

acefalo · Answer

Si vous avez accès à une distribution Linux (cela doit se faire aussi sous Windows, mais d'une autre façon peut-être).

 fichier
A
B
B
C
D
D

Dans un terminal :
uniq -u fichier
A
C

Pour sauvegarder :
uniq -u fichier > fichier2

Un peu plus simple qu'avec LibreOffice ! uniq fait partie de GNU coreutils, un ensemble d'outils qui doivent être de base dans la plupart des distributions.

vinc · Answer

Désolé mais cette fois si j'ai pas bien compris.

Ou dois-je cliquer à droit de Fx ? Je vois bien Fx à droite complet de la fenêtre
https://www.udrop.com/cache/plugins/filepreviewer/424319/28493bf178b27944f4c0add4e46465057494de78dce7c5cac1a5d15ad4b54aea/1100x800_cropped.jpg

Je ne peux pas cliquer à droit car il n'y a rien et quand je clique dessus ca m'ouvre une boite de fonction ou je dois choisir entre SOMME, MOYENNE, MIN, MAX ou SI.

Je ne comprend pas aussi que voulez vous dire par j'écrit B1:B5000 ou autre ? Moi en l'occurrence la formule que je doit mettre dans B1 est =NB.SI(A:A;A1), c'est bien ça que je dois mettre ?

Vraiment désolé mais je n'ai vraiment jamais utilisé se genre de logiciel.

Ps : Désolé je viens de voir pour linux, j'ai bien linux sur une vm, donc je vais essayé, c'est vrais que la c'est beaucoup plus simple. Vous en savez des choses di donc.
Merci encore.

acefalo · Answer

Bonjour,

Je faisais deux choses en même temps (parler au téléphone et écrire). Cela doit être à gauche de Fx. En haut des colonnes.

acefalo · Answer

Bonjour,

Je ne sais pas combien de lignes il y a dans votre fichier, mais j'ai fait des tests juste pour voir.

J'ai commencé par créer un fichier avec 100 000 nombres pseudo-aléatoires de 1 à 100 000 contenant 10 000 nombres uniques. Je me doutais que LibreOffice Calc ne parviendrait pas à m'obtenir de résultat avec la méthode expliquée (la liste des nombres uniques). Excel ferait pareil, je pense. Peut-être en passant par une autre méthode. Calculer la fréquence, puis trier au lieu de copier les cellules. J'ai réussi à calculer la fréquence pour 100 000 avec LibreOffice, mais cela a pris quelques minutes. Peut-être que cela irait mieux avec une macro.

Le même test avec la ligne de commande (J'ajoute time devant la commande pour calculer le temps d'exécution). Cela prend une fraction de seconde pour 100 000 nombres.

time sort fichier | uniq -u > fichier.outreal	0m0,183suser	0m0,200ssys	    0m0,004s

J'ai testé pour 5000 nombres avec LibreOffice et cela fonctionne assez bien, même si c'est beaucoup plus long.

En ce qui concerne mon commentaire précédent sur les fins de ligne. J'ai testé avec les différentes fins de ligne (Windows, Unix, Mac classique) pour les commandes sort et uniq. Cela semble fonctionner pour les fichiers avec des fins de ligne Windows, mais les fins de ligne Mac ne fonctionne pas dès le sort. Il faut alors convertir.

Pour afficher les fins de lignes avec Geany, il faut aller dans le menu Affichage/Afficher les fins de ligne. Pour convertir = menu Document/Définir les fins de ligne. J'imagine qu'il y a la même possibilité avec Notepad ++. C'est toujours mieux de travailler avec une copie du fichier original.

Liste txt, supprimé les deux doublon

6 réponses

Discussions similaires