취미로 코딩하기

// -----------------------------------------------------------------------------
// 100MB 이상의 파일중에서 중복된 파일 찾기
// -----------------------------------------------------------------------------
 
import java.security.MessageDigest
 
final TARGET_DIR = "C:\\"
final LIMIT_SIZE = 100000000
 
def md5sum(final file) {
    MessageDigest digest = MessageDigest.getInstance("MD5")
    file.withInputStream() { is ->          
        byte[] buffer = new byte[8192]
        int read = 0
        while( (read = is.read(buffer)) > 0) {
            digest.update(buffer, 0, read);
        }
    }                                                        
    byte[] md5 = digest.digest()
    BigInteger bigInt = new BigInteger(1, md5)
    return bigInt.toString(16).padLeft(32, '0')
}
 
def file_list     = []
def distinct_list = [:]
def startDate = new Date().format('yyyy/MM/dd HH:mm:ss')
 
new File(TARGET_DIR).eachFileRecurse { file -> 
    if( file.size() > LIMIT_SIZE ) {
        def md5 = null
        try {
            md5 = md5sum(file)
        } catch(ex) {
            md5 = null
        }
        if (md5 != null) { 
            if(distinct_list[md5] == null)
                distinct_list[md5] = 1
            else
                distinct_list[md5] += 1
            file_list << (md5+"|"+file)
        }
    }
}
 
distinct_list = distinct_list.sort { a, b -> b.value <=> a.value }
 
distinct_list.each { md5, cnt ->
    if( cnt > 1) {
       println "\n[ $md5 ]"
       file_list.each { file -> 
           def (md5_2, filename) = file.split(/\|/)
           if(md5 == md5_2) { println filename }
       }
    }
}
 
def endDate = new Date().format('yyyy/MM/dd HH:mm:ss')
println "\n\n\n"
println "================================================================================"
println "Start Time : $startDate"
println "End   Time : $endDate"
println "================================================================================"

import java.security.MessageDigest
 
def md5sum(final file) {
    MessageDigest digest = MessageDigest.getInstance("MD5")
    file.withInputStream() { is ->          
        byte[] buffer = new byte[8192]
        int read = 0
        while( (read = is.read(buffer)) > 0) {
            digest.update(buffer, 0, read);
        }
    }                                                        
    byte[] md5 = digest.digest()
    BigInteger bigInt = new BigInteger(1, md5)
    return bigInt.toString(16).padLeft(32, '0')
}
 
println md5sum(new File("md5sum.groovy"))

• 동기IO를 이용한 방법 (파일을 조금씩 읽어서 처리하는 방법) => Windows 에서는 에러가 발생하고 제대로 실행되지 않는다. 원인을 찾아보려고 했으나, 알 수가 없다. 혹시 누구 아시는분? node.js v0.6.11 에서 문제가 있었으나, v0.6.12 에서 잘 되고 있다.

  var fs     = require('fs');
  var crypto = require('crypto');
   
  var filename = 'walk_test.js';
  function md5sum(filename) {
    var genChecksum = null;
    var checksum = crypto.createHash('md5');
    var bytesRead = 1;
    var pos = 0
    var buffer = new Buffer(1024*64); // 64Kbyte
    var fd = fs.openSync(filename, 'r');
    var data = null;
    while (bytesRead > 0) {
      bytesRead = fs.readSync(fd, buffer, 0, buffer.length, pos);
      pos += bytesRead;
      if (bytesRead === buffer.length) {
        checksum.update(buffer);
      } else {
        data = buffer.slice(0, bytesRead);
        checksum.update(data);
      }
    }
    fs.closeSync(fd);
    genChecksum = checksum.digest('hex');
    return genChecksum;
  }
  
  console.log('checksum is : ' + md5sum(filename));
  

• 동기IO를 이용한 방법 (파일은 한번에 읽어서 처리하는 방법) ⇒ 주의 : 한번에 큰 파일을 읽어서 처리하므로, 메모리를 많이 소모하게 될 것이다.

  var fs     = require('fs');
  var crypto = require('crypto');
   
  var filename = 'walk_test.js';
   
  function md5sum(filename) {
    var genChecksum = null;
    var checksum = crypto.createHash('md5');
    var data = fs.readFileSync(filename);
    checksum.update(data);
    genChecksum = checksum.digest('hex');
    return genChecksum;
  }
   
  console.log('checksum is : ' + md5sum(filename));
  

• 비동기IO를 이용한 방법

  var fs     = require('fs');
  var crypto = require('crypto');
   
  var filename = 'walk_test.js';
  var genChecksum = null;
  var checksum = crypto.createHash('md5');
  var fin = fs.ReadStream(filename);
  fin.on('data', function(data){
    checksum.update(data);
  });
   
  fin.on('end', function(){
    genChecksum = checksum.digest('hex');
    console.log('checksum is : ' + genChecksum);
  });