【源码】基于Python的重复文件去重系统

项目简介

duplremover 是一个基于Python的重复文件删除工具，其主要作用是帮助用户有效管理文件系统中的重复文件。它能够快速查找并删除指定目录下的重复文件，支持交互模式与自动模式，可自定义查找文件类型，还能并行处理多个文件以提升处理效率。

项目的主要特性和功能

1. 无差别去重：不限制文件类型，可去除图片、视频、音乐、文档等所有重复文件。
2. 多模式选择：提供自动检测并处理重复文件、自动检测只返回重复文件（不删除）、交互模式下自动删除、交互模式下提示删除等多种模式。
3. 处理速度快：支持编码抽样或者多进程，能迅速完成重复文件检测。
4. 支持自定义：可自定义查找的文件类型，通过配置文件或自定义值来定义。
5. 交互式界面：在交互模式下，用户可选择保留哪些文件或自动删除重复文件。
6. 日志记录：支持日志记录，能记录操作详情和结果。

安装使用步骤

安装

推荐使用pip安装： shell pip install dupremover 也可直接下载duplremover文件夹到项目目录下。

使用

控制台使用

```shell remover

remover -i

remover -f /root/your_path/

remover -t jpg,png,gif

remover -a

remover -rf

remover -rd

remover -nsm

remover -mp ```

代码中使用

```python from duplremover.duplicate_remover import DuplRm

DR = DuplRm(directory='your file path', # 需要去重的文件夹地址 recursive_traversal=True, # 是否检查子文件夹，默认是 types=None, # 指定检查的文件类型列表，例如['jpg', 'png']，默认为None，即检查所有类型 sampling_matching=True, # 是否以文件二进制抽样的方式去重，默认是 interactive_mode=False, # 是否以交互模式调用，默认否 auto_delete=False, # 是否允许自动删除，默认否 remove_zero_size_file=False, # 是否自动删除0kb的废文件，默认否 remove_empty_dirs=False, # 是否自动删除空白文件夹，默认否 multiprocess=False, # 是否启用多进程（启用后日志输入有影响），默认否 log_level=None, # 日志级别，默认info级别 )

DR.start() ``` 注意：操作时务必谨慎，防止误删重要文件。

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】