uniq

uniq

显示或忽略重复的行。

概要

uniq [OPTION]... [INPUT [OUTPUT]]

主要用途

  • 将输入文件(或标准输入)中邻近的重复行写入到输出文件(或标准输出)中。
  • 当没有选项时,邻近的重复行将合并为一个。

选项

-c, --count                在每行开头增加重复次数。
-d, --repeated             所有邻近的重复行只被打印一次。
-D                         所有邻近的重复行将全部打印。
--all-repeated[=METHOD]    类似于 -D,但允许每组之间以空行分割。METHOD取值范围{none(默认),prepend,separate}。
-f, --skip-fields=N        跳过对前N个列的比较。
--group[=METHOD]           显示所有行,允许每组之间以空行分割。METHOD取值范围:{separate(默认),prepend,append,both}。
-i, --ignore-case          忽略大小写的差异。
-s, --skip-chars=N         跳过对前N个字符的比较。
-u, --unique               只打印非邻近的重复行。
-z, --zero-terminated      设置行终止符为NUL(空),而不是换行符。
-w, --check-chars=N        只对每行前N个字符进行比较。
--help                     显示帮助信息并退出。
--version                  显示版本信息并退出。

参数

INPUT(可选):输入文件,不提供时为标准输入。

OUTPUT(可选):输出文件,不提供时为标准输出。

返回值

返回0表示成功,返回非0值表示失败。

例子

注意:命令2和命令3结果一样,命令1仅作了相邻行的去重。

uniq file.txt
sort file.txt | uniq
sort -u file.txt

只显示单一行,区别在于是否执行排序:

uniq -u file.txt
sort file.txt | uniq -u

统计各行在文件中出现的次数:

sort file.txt | uniq -c

在文件中找出重复的行:

sort file.txt | uniq -d

注意

  1. uniq只检测邻近的行是否重复,sort -u将输入文件先排序然后再处理重复行。
  2. 该命令是GNU coreutils包中的命令,相关的帮助信息请查看man -s 1 uniqinfo coreutils 'uniq invocation'

若文章对你有帮助,可以点赞或打赏支持我们。发布者:Aurora,转载请注明出处:http://61.174.243.28:13541/AY-knowledg-hub/uniq/

(0)
AuroraAurora站点维系者
上一篇 2024年 3月 11日 下午6:36
下一篇 2024年 3月 11日 下午6:36

相关推荐

  • dstat

    文章目录dstat补充说明下载安装使用说明语法常用选项实例 dstat 通用的系统资源统计工具 补充说明 dstat命令 是一个用来替换vmstat、iostat、netstat、…

    入门教程 2023年 12月 7日
  • ipcs

    文章目录ipcs补充说明语法选项资源选项输出选项通用选项实例相关命令 ipcs 分析消息队列共享内存和信号量 补充说明 ipcs命令 用于报告Linux中进程间通信设施的状态,显示…

    入门教程 2023年 12月 19日
  • 数据清洗

    数据清洗是对一些没有用的数据进行处理的过程。 很多数据集存在数据缺失、数据格式错误、错误数据或重复数据的情况,如果要对使数据分析更加准确,就需要对这些没有用的数据进行处理。 在这个…

    2023年 5月 16日
  • protoize

    文章目录protoize补充说明语法选项参数 protoize GNU-C代码转换为ANSI-C代码 补充说明 protoize命令 属于gcc套件,用于为C语言源代码文件添加函数…

    入门教程 2024年 3月 1日
  • unprotoize

    文章目录unprotoize补充说明语法选项参数 unprotoize 删除C语言源代码文件中的函数原型 补充说明 unprotoize命令 属于gcc套件,用于删除C语言源代码文…

    入门教程 2024年 3月 11日
  • slocate

    文章目录slocate补充说明语法选项实例 slocate 命令查找文件或目录 补充说明 slocate命令 是一个命令查找文件或目录。slocate本身具有一个数据库,里面存放了…

    入门教程 2024年 3月 5日
  • umask

    文章目录umask概要主要用途参数选项返回值例子注意 umask 显示或设置创建文件的权限掩码。 概要 umask [-p] [-S] [mode] 主要用途 显示当前的文件权限掩…

    入门教程 2024年 3月 11日
  • groupmod

    文章目录groupmod补充说明语法选项参数 groupmod 更改群组识别码或名称 补充说明 groupmod命令 更改群组识别码或名称。需要更改群组的识别码或名称时,可用gro…

    入门教程 2023年 12月 14日
  • timedatectl

    文章目录timedatectl补充说明概要主要用途参数例子 timedatectl 用于在 Linux 中设置或查询系统时间、日期和时区等配置。 补充说明 在 Linux 运维中,…

    入门教程 2024年 3月 11日
  • SQL SELECT DISTINCT 语句

    SELECT DISTINCT 语句用于返回唯一不同的值。 文章目录SQL SELECT DISTINCT 语句SQL SELECT DISTINCT 语法SELECT DISTI…

    2023年 5月 28日

发表回复

登录后才能评论
Translate »