良许Linux教程网 干货合集 快速上手Linux uniq命令

快速上手Linux uniq命令

Linux uniq命令用于检查及删除文本文件中重复出现的行列。uniq可检查文本文件中重复出现的行列。

u=2001546614,1830968725&fm=26&gp=0

格式

uniq [选项] [file]

选项说明:

-c,--count:显示行出现的次数

-d,--repeated:仅显示重复出现的行,即出现次数>=2的行,且只打印一次

-D,--all-repeated[=delimit-method]:仅显示重复的行,即出现次数>=2的行,且打印重复行的所有行。其中delimit-method表示对重复行集合的分隔方式,有三种取值,分别为none、prepend和separate。其中none表示不进行分隔,为默认选项,uniq -D等同于uniq --all-repeated=none;prepend表示在每一个重复行集合前面插入一个空行;separate表示在每个重复行集合间插入一个空行。

-f,--skip-fields=N:忽略前N个字段。字段由空白字符(空格符、Tab)分隔。如果您的文档的行被编号,并且您希望比较行中除行号之外的所有内容。如果指定了选项-f 1,那么下面相邻的两行:

1 这是一条线。

2 这是一条线。

将被认为是相同的。如果没有指定-f选项,它们将被认为是唯一的。

-i,--ignore-case:忽略大小写字符的不同

-s,--skip-chars=N:跳过前面N个字符不比较

-u,--unique:只显示唯一的行,即出现次数等于1的行

-w,--check-chars=N:指定每行要比较的前N个字符数

--help:显示帮助信息

--version:显示版本信息

常用示例

(1)对无序文件去重无效。 testfile的内容如下:

cat testfile

hello

world

friend

hello

world

hello

直接删除未经排序的文件,将会发现没有任何行被删除:

#uniq testfile  

hello

world

friend

hello

world

hello

(2)uniq结合sort命令,对排序文件去重。

#cat testfile | sort | uniq

friend

hello

world

(3)排序之后删除了重复行,同时在行首位置输出该行重复的次数。

#sort testfile | uniq -c

1 friend

3 hello

2 world

(4)仅显示存在重复的行,并在行首显示该行重复的次数:

#sort testfile | uniq -dc

3 hello

2 world

(5)仅显示不重复的行。

sort testfile | uniq -u

friend

(6)仅显示重复的行,且显示重复行的所有行。

sort testfile | uniq -D

hello

hello

hello

world

world

(7)uniq默认是比较相邻行的所有内容来判断是否重复,我们可以通过选项-w--check-chars=N指定比较前N个字符。比如我们有如下内容的文件test.txt:

apple

application

api

打印前三个字符相同的行:

uniq -w3 -D test.txt

apple

application

以上就是良许教程网为各位朋友分享的Linu系统相关内容。想要了解更多Linux相关知识记得关注公众号“良许Linux”,或扫描下方二维码进行关注,更多干货等着你 !

img
本文由 良许Linux教程网 发布,可自由转载、引用,但需署名作者且注明文章出处。如转载至微信公众号,请在文末添加作者公众号二维码。
良许

作者: 良许

良许,世界500强企业Linux开发工程师,公众号【良许Linux】的作者,全网拥有超30W粉丝。个人标签:创业者,CSDN学院讲师,副业达人,流量玩家,摄影爱好者。
上一篇
下一篇

发表评论

邮箱地址不会被公开。 必填项已用*标注

联系我们

联系我们

公众号:良许Linux

在线咨询: QQ交谈

邮箱: yychuyu@163.com

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部