DedupeCopy

DedupeCopy er en enkel multi-threaded filkopiering verktøy for konsolidering og omstrukturering viltvoksende filsystemer.
Den mest vanlige bruken tilfellet er for sikkerhetskopiering av data til en ny layout, ignorerer dupliserte filer.
Andre bruksområder inkluderer:
& Nbsp; 1. Bli en CSV-fil som beskriver alle dupliserte filer
& Nbsp; 2. Sammenligning av forskjellige filsystemer
& Nbsp; 3. Restrukturering eksisterende sett av filer til forskjellige oppsett (for eksempel sortert etter forlengelse eller siste endring tid)
Dette verktøyet er * ikke * en Robocopy eller rsync erstatning, og ikke prøve å fylle den rollen de spiller.
Som med all kode som går en fil treet, kan du bruke med forsiktighet og forventer absolutt ingen garanti!
Kommando eksempler:
& Nbsp; Generere en duplikat fil rapport for en bane:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p / Users / -r dupes.csv -m manifest
& Nbsp; Kopiere alle * .jpg-filer fra flere baner til en /YYYY_MM/*.jpg struktur
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p C: pics -p D: pics -e jpg -R jpg: mtime -c X: pics
& Nbsp; Kopiere alle filene fra to stasjoner til et enkelt mål, bevare banen for
& Nbsp; alle utvidelser:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p C: -p D: -c X: -m X: manifest -R *: no_change
& Nbsp; Gjenoppta en avbrutt løp (forutsatt "-m manifest" brukt i tidligere løp):
& Nbsp; & nbsp; & nbsp; dedupe_copy.py -p / Users / -r dupes_2.csv -i manifest -m manifest
Sekvensielt kopiere ulike kilder inn i samme målet, ikke kopiere dupliserte filer (to kilder og en target):
& Nbsp; & nbsp; & nbsp; 1.) Første posten manifesterer for alle enheter
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ target share -m target_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source1 share -m source1_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source2 share -m source2_manifest
& Nbsp; & nbsp; & nbsp; 2.) Kopier hver kilde til målet (angi --compare så manifesterer fra
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; andre kilder er lastet, men ikke brukt som en del av settet for å kopiere og
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; no-tur å hoppe re-scan av kilde):
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source1 share -c \ target share -i source1_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source2_manifest --compare target_manifest & nbsp; no-tur
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source2 share -c \ target share -i source2_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source1_manifest --compare target_manifest --no-tur
Komplett eksempel:
& Nbsp; & nbsp; & nbsp;
& Nbsp; & nbsp; & nbsp; Forutsatt at du starter med et sett med filer som er lagt ut på følgende måte:
& Nbsp; & nbsp; & nbsp; C:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; pics
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; some_photos
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; D:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; pics
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; copied_photo
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
& Nbsp; & nbsp; & nbsp; Og du kjører kommandoen:
& Nbsp; & nbsp; & nbsp; > Dedupe_copy.py -p C: pics -p D: pics -e jpg -R jpg: mtime -c X: bilder
Du vil ende opp med følgende (photo3.jpg var en sann kopi):
& Nbsp; & nbsp; & nbsp; X:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; bilder
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_08
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_09
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
Dette prosjektet er på bitbucket: http://www.bitbucket.org/othererik/dedupe_copy

Requirements:

• Python