找到Linux系统里重复文件的6种方法

无论你是电脑小白还是技术大拿，在使用电脑的过程中或多或少的都留下许多重复的文件。这些文件不仅占用磁盘资源还会拖累我们的系统，特别是妹子们的电脑，动不动都卡，卡，卡，这时候她们会拿出必杀技—-电脑管家或安全卫士去清理垃圾，但如果是 Linux 系统呢？莫怕！本文将带你学习如何优雅的帮助妹子们清理电脑。

我这里有 6 款飙车技能，希望能带你起飞：

1. diff 文本比较命令

diff 命令用于比较两个文件的差异。diff 的比较是以逐行的方式进行扫描的，如果指定要比较目录，则 diff 会比较目录中相同文件名的文件，但不会比较其中子目录。diff 命令的执行结果将使用 和 > 显示两文件之间的差异，并在行首指出有差异的行号，利用这个特性我们可以找到相同的文件。

如果你比较的两个文件有差异，diff 将输出差异点：

$ diff index.html backup.html
2438a2439,2441
> 

> That's all there is to report.
> 

如果你执行 diff 后没有输出，那表示两个文件相同（不用再考虑了直接干掉一个文件吧）。

$ diff home.html index.html
$

但是我要告诉你，diff 致命的缺点就是效率低，每次只能比较两个文件，且执行结果显示不明确。只能用于日常的脚本、代码的比较。

2. cksum 对比校验和

cksum 命令原本是用于检查文件的 CRC 是否正确，可以确保文件在到另一个系统中的完整性。cksum 命令会根据特定的算法根据文件内容计算出一串数字。如果两个文件的内容不同，它们的 cksum 值则不同，虽然不是绝对的，但 CCITT 官方表示，准确率至少可达 99.998% 。

$ cksum *.html
2819078353 228029 backup.html
4073570409 227985 home.html
4073570409 227985 index.html

上面的 3 个文件，第 2 个和第 3 个的 cksum 值是相同的，我们可以认为这两个文件的内容是一致的。

3. find 查找命令

find 命令原本是用来在指定目录下查找文件，本身并没有查找重复文件的选项，但是它可以用于按照名称或类型对文件搜索然后结合 cksum 命令，对比文件的 CRC 值。

$ find . -name "*.html" -exec cksum {} \;
4073570409 227985 ./home.html
2819078353 228029 ./backup.html
4073570409 227985 ./index.html

以上是根据名字查找以 html 结尾的文件，并计算出 cksum 值。

4. fslint 重复数据查找命令

fslint 命令能够找出系统中的重复文件、临时文件、错误的系统链接等内容，用户可以根据实际情况对这些内容予以删除，从而达到清理系统的目的。但是你要给它指定一个起始位置，否则该命令需要占用很长时间才能完成查找。

$ fslint .
-----------------------------------file name lint
-------------------------------Invalid utf8 names
-----------------------------------file case lint
----------------------------------DUPlicate files home.html
index.html
-----------------------------------Dangling links
--------------------redundant characters in links
------------------------------------suspect links
--------------------------------Empty Directories
./.gnupg
----------------------------------Temporary Files
----------------------duplicate/conflicting Names
------------------------------------------Bad ids
-------------------------Non Stripped executables

Tips：fslint 是需要另外安装的，如果你想在任何路径下都能执行还需将它添加到 PATH 路径中。

$ export PATH=$PATH:/usr/share/fslint/fslint

5. rdfind 冗余数据查找命令

rdfind 是一个通过访问目录和子目录来找出重复文件的自由开源的工具。被称为「冗余数据查找」，该命令可以根据文件日期确定哪些文件是原始文件，你可以决定是删除还是使用硬链接或者符号（软）链接代替它们。

$ rdfind ~
Now scanning "/home/alvin", found 12 files.
Now have 12 files in total.
Removed 1 files due to nonunique device and inode.
Total size is 699498 bytes or 683 KiB
Removed 9 files due to unique sizes from list.2 files left.
Now eliminating candidates based on first bytes:removed 0 files from list.2 files left.
Now eliminating candidates based on last bytes:removed 0 files from list.2 files left.
Now eliminating candidates based on sha1 checksum:removed 0 files from list.2 files left.
It seems like you have 2 files that are not unique
Totally, 223 KiB can be reduced.
Now making results file results.txt

你可在不修改其他事情情况下使用 -dryrun 选项找出所有重复文件，并在终端上输出汇总信息。

$ rdfind -dryrun true ~
(DRYRUN MODE) Now scanning "/home/alvin", found 12 files.
(DRYRUN MODE) Now have 12 files in total.
(DRYRUN MODE) Removed 1 files due to nonunique device and inode.
(DRYRUN MODE) Total size is 699352 bytes or 683 KiB
Removed 9 files due to unique sizes from list.2 files left.
(DRYRUN MODE) Now eliminating candidates based on first bytes:removed 0 files from list.2 files left.
(DRYRUN MODE) Now eliminating candidates based on last bytes:removed 0 files from list.2 files left.
(DRYRUN MODE) Now eliminating candidates based on sha1 checksum:removed 0 files from list.2 files left.
(DRYRUN MODE) It seems like you have 2 files that are not unique
(DRYRUN MODE) Totally, 223 KiB can be reduced.
(DRYRUN MODE) Now making results file results.txt

目录中有一些空文件，如果你想忽略他们，你可以像下面一样使用 -ignoreempty 选项，下面详细解释它的常用选项。

这里需要我们注意一下，rdfind 命令提供了使用 -deleteduplicates true 设置删除重复文件的选项。顾名思义，使用这个选项它将自动删重复的文件。

$ rdfind -deleteduplicates true .
...
Deleted 1 files. 

在 RHEL、CentOS 上：执行 sudo yum install rdfind 即可完成 rdfind 的安装。

6. 使用 fdupes 命令

fdupes 是在指定目录以及子目录中识别和移除重复文件的命令行工具。仅执行 fdupes 命令，它会把重复文件放在一起，如下所示：

$ fdupes ~
/home/alvin/UPGRADE
/home/alvin/mytwin

/home/alvin/lp.txt
/home/alvin/lp.man

/home/alvin/penguin.png
/home/alvin/penguin0.png
/home/alvin/hideme.png

-r 选项代表递归，表示在指定目录下以递归的方式来查找重复文件。这个选项慎用，因为 Linux 系统中包含许多重要的文件（比如用户的 .bashrc 和 .profile 文件），如果误删将导致系统异常。

# fdupes -r /home
/home/shark/home.html
/home/shark/index.html

/home/dory/.bashrc
/home/eel/.bashrc

/home/nemo/.profile
/home/dory/.profile
/home/shark/.profile

/home/nemo/tryme
/home/shs/tryme

/home/shs/arrow.png
/home/shs/PNGs/arrow.png

/home/shs/11/files_11.zip
/home/shs/ERIC/file_11.zip

/home/shs/penguin0.jpg
/home/shs/PNGs/penguin.jpg
/home/shs/PNGs/penguin0.jpg

/home/shs/Sandra_rotated.png
/home/shs/PNGs/Sandra_rotated.png

fdupes 常用选项如下：

在 RHEL、CentOS 上：执行 sudo yum install fdupes 即可完成 fdupes 的安装。

小结

其实Linux系统为我们提供了许多定位和删除重复文件的工具，这些工具能帮助你快速找到并清理系统中的重复的文件，希望能对你有所帮助。