实现了fullChecksum补全

jqk · Sep 21, 2023 · f181009 · f181009
1 parent 796b8ea
commit f181009
Show file tree

Hide file tree

Showing 3 changed files with 14 additions and 5 deletions.
diff --git a/file-diff-grouper.code-workspace b/file-diff-grouper.code-workspace
@@ -25,7 +25,7 @@
         "program": "${workspaceFolder}/file-diff-cli",
         "env": {},
         //"args": [],
-        "args": ["e:/temp/fdg/config-d-2020-整理.yaml"],
+        "args": ["e:/temp/fdg/config-m-data.yaml"],
         //"args": [ "config.yaml" ],
         "showLog": true
       }

diff --git a/file-diff/scan.go b/file-diff/scan.go
@@ -112,7 +112,7 @@ func ScanDir(config *DirConfig, handler FileScanedFunc) (*ScanResult, error) {
 		return nil, err
 	}
 
-	sortAndFindDupFiles(result)
+	sortAndFindDupFiles(result, buffer, provider)
 
 	// 保存文件的耗时不计入工作耗时。
 	stopwatch.Stop()
@@ -125,15 +125,23 @@ func ScanDir(config *DirConfig, handler FileScanedFunc) (*ScanResult, error) {
 	return result, nil
 }
 
-func sortAndFindDupFiles(r *ScanResult) {
+func sortAndFindDupFiles(r *ScanResult, buffer []byte, provider *fileutils.CommonFileChecksumProvider) {
 	for _, identities := range r.Files {
 		if len(identities) > 1 { // 多个文件具有相同的 headerChecksum 才需排序并查重。
 			sortFileIdentities(identities) // 1. 排序。
 
 			m := FileIdentities{} // 2. 准备查重。
 
 			for _, id := range identities {
-				// 使用文件长度加整体校验和作为 key。这是判断文件是否重复的标准。即使 fullChecksum 无值，也要加上。
+				if !id.HasFullChecksum && r.CompareFullChecksum {
+					// 如果没有 FullChecksum，并且要求计算之，则补全。
+					temp, _ := getFileIdentity(id.Filename, r.HeaderSize, buffer, true, provider)
+					id.HasFullChecksum = true
+					id.FullChecksum = temp.FullChecksum
+					r.FullChecksumCount++
+				}
+
+				// 使用文件长度加整体校验和作为 key。这是判断文件是否重复的标准。
 				key := strconv.FormatInt(id.FileSize, 10) + "_" + checksumToString(id.FullChecksum)
 				m[key] = append(m[key], id)
 			}

diff --git a/file-diff/test-data/scan.test.config.yaml b/file-diff/test-data/scan.test.config.yaml
@@ -18,6 +18,7 @@ compareBase:
   loadScanResult: false
   # 不要求计算文件摘要。
   needFullChecksum: false
+  compareFullChecksum: true
 
 compareTarget:
   dir: "test-data/origin/compare_target"
@@ -26,8 +27,8 @@ compareTarget:
   loadScanResult: false
   # 要求计算文件摘要。
   needFullChecksum: true
-
   compareFullChecksum: true
+
   backupDir: "test-data/output"
   moveMore: false
   moveSame: false