Duplicator

duplikator er et verktøy som fjerner duplikate linjer fra tekstlig fil. Den bruker svært lite minne. Når du har begrensninger som: stor n avgrenset ordliste - ett ord per linje. Størrelsen på filene som spenner fra 2GB til så store som 10 GB. Trenger du å fjerne eventuelle dupliserte linjer. Prosessen kan sortere listen i løpet av fjerning av dubletter, men ikke nødvendig. Det er nok plass på partisjonen til å holde den nye unike ordliste avgitt. Det ble testet på en ~ 500 MB fil med ~ 8mil linjer og det forbrukes 30MB RAM minne til å slette 10 mb av duplisert linjer.