Java实现：如何在文件夹中查找重复文件

在处理大量文件时，常常会遇到文件重复的问题。这不仅会占用宝贵的存储空间，还可能导致数据管理上的混乱。幸运的是，通过Java编程，我们可以轻松地找到文件夹中重复的文件。本文将详细介绍如何使用Java代码实现这一功能，帮助你高效地管理和清理文件。

1. 解决方案

我们的目标是在一个指定的文件夹中查找所有重复的文件。为了实现这一目标，我们可以采用以下步骤：
递归遍历文件夹：遍历指定文件夹及其所有子文件夹，获取所有文件的路径。
计算文件的哈希值：通过计算每个文件的哈希值（如SHA-256），快速判断文件内容是否相同。
存储和比较哈希值：将文件的哈希值和路径存储在HashMap中，通过比较哈希值来找出重复的文件。
输出重复文件的路径：将重复文件的路径打印出来，方便用户查看和处理。

2. Java代码实现

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

public class DuplicateFileFinder {

    public static void main(String[] args) {
        // 替换为你的文件夹路径
        String directoryPath = "path/to/your/directory";

        // 创建一个HashMap来存储文件的哈希值和路径
        Map<String, List<File>> hashToFileMap = new HashMap<>();

        try {
            // 递归查找重复文件
            findDuplicateFiles(new File(directoryPath), hashToFileMap);
        } catch (IOException | NoSuchAlgorithmException e) {
            e.printStackTrace();
        }

        // 输出重复的文件
        boolean duplicatesFound = false;
        for (List<File> fileList : hashToFileMap.values()) {
            if (fileList.size() > 1) {
                duplicatesFound = true;
                System.out.println("找到重复文件：");
                for (File file : fileList) {
                    System.out.println(file.getAbsolutePath());
                }
                System.out.println();
            }
        }

        if (!duplicatesFound) {
            System.out.println("没有找到重复文件。");
        }
    }

    public static void findDuplicateFiles(File directory, Map<String, List<File>> hashToFileMap)
            throws IOException, NoSuchAlgorithmException {
        if (directory == null || !directory.exists()) {
            return;
        }

        File[] files = directory.listFiles();
        if (files == null) {
            return;
        }

        for (File file : files) {
            if (file.isDirectory()) {
                // 递归处理子文件夹
                findDuplicateFiles(file, hashToFileMap);
            } else {
                // 计算文件的哈希值
                String hash = calculateFileHash(file);
                List<File> fileList = hashToFileMap.getOrDefault(hash, new ArrayList<>());
                fileList.add(file);
                hashToFileMap.put(hash, fileList);
            }
        }
    }

    public static String calculateFileHash(File file) throws IOException, NoSuchAlgorithmException {
        MessageDigest digest = MessageDigest.getInstance("SHA-256");
        try (FileInputStream fis = new FileInputStream(file)) {
            byte[] buffer = new byte[8192]; // 8KB缓冲区
            int bytesRead;
            while ((bytesRead = fis.read(buffer)) != -1) {
                digest.update(buffer, 0, bytesRead);
            }
        }
        byte[] hashBytes = digest.digest();
        return bytesToHex(hashBytes);
    }

    public static String bytesToHex(byte[] bytes) {
        StringBuilder hexString = new StringBuilder();
        for (byte b : bytes) {
            String hex = Integer.toHexString(0xff & b);
            if (hex.length() == 1) {
                hexString.append('0');
            }
            hexString.append(hex);
        }
        return hexString.toString();
    }
}