Kommando för att radera dubletter i text

Här diskuterar vi skal, kommandon och klassiska linuxverktyg.
Ainigma
Inlägg: 803
Blev medlem: 26 sep 2007, 20:49
OS: Ubuntu
Utgåva: 24.04 Noble Numbat LTS

Kommando för att radera dubletter i text

Inlägg av Ainigma »

Vet något ett bra kommando för att radera dubletter av ord, epostadresser etc i en textfil? :)
Användarvisningsbild
johanre
Serveradmin
Inlägg: 3888
Blev medlem: 22 okt 2006, 09:13
OS: Ubuntu
Utgåva: 22.04 Jammy Jellyfish LTS
Ort: Malmö

Re: Kommando för att radera dubletter i text

Inlägg av johanre »

Hhhmm, det beror lite på vad du vill åstadkomma och hur innehållet i texten ser ut.... Men, om du t.ex. har en lista med ord i en fil kallad "textfil" skulle du kunna:

Kod: Markera allt

cat textfil | uniq | sort 


Det ger dig endast unikt förekommande ord i textfilen, och dessutom alfanumeriskt sorterade. Vill du dessutom ha resultatet sparat i en annan fil kan du:

Kod: Markera allt

cat textfil | uniq | sort  > resultatfil 
Det här var bara lite grundläggande exempel, det finns såklart tonvis med varianter.
Ainigma
Inlägg: 803
Blev medlem: 26 sep 2007, 20:49
OS: Ubuntu
Utgåva: 24.04 Noble Numbat LTS

Re: Kommando för att radera dubletter i text

Inlägg av Ainigma »

Nej det funkade inte. Epostlistan har fortfarande dubletterna kvar. Är osäker på om och vad kommandona gjorde. :P
Användarvisningsbild
johanre
Serveradmin
Inlägg: 3888
Blev medlem: 22 okt 2006, 09:13
OS: Ubuntu
Utgåva: 22.04 Jammy Jellyfish LTS
Ort: Malmö

Re: Kommando för att radera dubletter i text

Inlägg av johanre »

Som sagt, mitt exempel utgick från en lista. Du måste vara lite mer beskrivande gällande innehållet i texten annars blir det svårt att lösa.

Sent from my Redmi 3 using Tapatalk
Ainigma
Inlägg: 803
Blev medlem: 26 sep 2007, 20:49
OS: Ubuntu
Utgåva: 24.04 Noble Numbat LTS

Re: Kommando för att radera dubletter i text

Inlägg av Ainigma »

Kommandot ser ut att ta bort vissa dubletter men inte andra. T.e.x i textfilen ser har bl a. dessa adresser på rad:
QQQ@hotmail.se
....
....
....
zzzz.www@Yry.se
.....
.....
och resultatfilen har bara en av dessa vilket är som det ska. Med hos andra dubletter är det ingen skillnad. Tex. så har resultatfilen detta:
YYY.KKK@TTT.se
.....
.....


vilket inte borde vara fallet.
Senast redigerad av 2 Ainigma, redigerad totalt 17 gång.
a_jonsson
Inlägg: 34
Blev medlem: 23 jan 2009, 14:36
OS: Debian

Re: Kommando för att radera dubletter i text

Inlägg av a_jonsson »

Ainigma skrev:Kommandot ser ut att ta bort vissa dubletter men inte andra.
uniq tar bara bort intill varandra liggande dubbletter. Pröva med att ändra ordningen till

Kod: Markera allt

cat textfil | sort | uniq 
så att sorteringen utförs först.

(möjligen även med flaggan -i efter uniq för att även ta bort dubbletter oavsett skiftläge)
Ainigma
Inlägg: 803
Blev medlem: 26 sep 2007, 20:49
OS: Ubuntu
Utgåva: 24.04 Noble Numbat LTS

Re: Kommando för att radera dubletter i text

Inlägg av Ainigma »

Ja det blev bättre! Tack så mycket. :)
Användarvisningsbild
JoWa
Global Moderator
Inlägg: 7779
Blev medlem: 09 jun 2012, 06:16
OS: Ubuntu
Utgåva: 24.04 Noble Numbat LTS
Ort: Boo
Kontakt:

Re: Kommando för att radera dubletter i text

Inlägg av JoWa »

Är det bra att posta dessa (eller andra) e-postadresser här? :-\
Noble Numbat | Firefox 125β (snap) | Privacy Badger
Ainigma
Inlägg: 803
Blev medlem: 26 sep 2007, 20:49
OS: Ubuntu
Utgåva: 24.04 Noble Numbat LTS

Re: Kommando för att radera dubletter i text

Inlägg av Ainigma »

Epostadresserna är offentliga adresser till organisationer så det ska väl inte vara ett problem. :P
Användarvisningsbild
JoWa
Global Moderator
Inlägg: 7779
Blev medlem: 09 jun 2012, 06:16
OS: Ubuntu
Utgåva: 24.04 Noble Numbat LTS
Ort: Boo
Kontakt:

Re: Kommando för att radera dubletter i text

Inlägg av JoWa »

De tar nog med glädje emot mer spam. :P
Noble Numbat | Firefox 125β (snap) | Privacy Badger
Ainigma
Inlägg: 803
Blev medlem: 26 sep 2007, 20:49
OS: Ubuntu
Utgåva: 24.04 Noble Numbat LTS

Re: Kommando för att radera dubletter i text

Inlägg av Ainigma »

Förstår piken fast den var fin ;) . . tror dock inte att spamprogram hittar epostadresserna lättare här än på de webbsidor där epostadresser ursprungligen hämtats så jag vidhåller att det inte borde vara ett problem. Men om admin tror att det kan bli ett problem eller att det är olämpligt så får han/hon gärna ta bort tråden. Jag har ju fått mitt problem löst så det spelar ju ingen roll för mig om det tas bort. Såvitt jag förstår så kan inte jag ta bort inlägget. :)
Användarvisningsbild
JoWa
Global Moderator
Inlägg: 7779
Blev medlem: 09 jun 2012, 06:16
OS: Ubuntu
Utgåva: 24.04 Noble Numbat LTS
Ort: Boo
Kontakt:

Re: Kommando för att radera dubletter i text

Inlägg av JoWa »

Du kan redigera dina inlägg. :idea:
Noble Numbat | Firefox 125β (snap) | Privacy Badger
Ainigma
Inlägg: 803
Blev medlem: 26 sep 2007, 20:49
OS: Ubuntu
Utgåva: 24.04 Noble Numbat LTS

Re: Kommando för att radera dubletter i text

Inlägg av Ainigma »

aha, var det så enkelt . . det är alltså redigera knappen vid varje inlägg . . :O , okej då fixar jag det. :!:
Skriv svar

Återgå till "Terminalforum"