Jug

Jug er en Python gjennomføring av MapReduce rammeverket (nå en standard del av Hadoop ), slik at utviklere å skrive kode som kan kjøres på forskjellige former for parallellisering.
Dette betyr kode som kan kjøres parallelt på samme maskin, eller over en databehandling klynge (flere maskiner).
Jug lar utviklere å organisere koden i mindre biter, og velge hvor, hvordan og når man skal kjøre den.
Selv om dette kan være over toppen for små nettsteder og programmer, kan dette problemet være svært nyttig i applikasjoner med høy trafikkbelastning eller at håndtere store mengder data.
Jug kan arbeide og lagre data lokalt via harddisken, eller den kan bruke fjernlager. For den senere tilfelle, Redis database støttes

Egenskaper .

• Vedvarende datalagring støtte
• reuses delresultater
• Samtidighet støtte
• Lokal datalagring
• Ekstern datalagring
• Driftsstatus kontrolløren

Hva er nytt i denne utgaven:

• Python 3 kompatibilitets fikser
• fsync (katalog) i filen backend
• Jug kroker (fremdeles stort sett udokumentert, men allerede muliggjør intern kode forenkling)

Hva er nytt i versjon 0.9.7:

• Fix bruk av numpy underklasser
• Fix Redis URL parsing
• Fix `` shell`` for nyere versjoner av IPython
• Korrekt falle tilbake på ikke-sqlite `` status``

Hva er nytt i versjon 0.9.6:

• Raskere dekoding
• Lagt mugge-kjøre skript
• Lagd beskrive () funksjon
• Lagt write_task_out () funksjon

Hva er nytt i versjon 0.9.1:

• Lagt `` webstatus`` -delkommandoen
• Lagt bvalue () funksjon
• Rettet feil i `` shell`` -delkommandoen (`` value`` var ikke i den globale navnerommet)
• Forbedret identitet ()
• Rettet feil i å bruke Tasklets og --aggressive-losse
• Rettet feil med Tasklets og sove-til / sjekk

Hva er nytt i versjon 0.9:

• I nærvær av en barriere (), kjør jugfile . Dette gjør barriere mye enklere å bruke.
• Lagt set_jugdir til offentlig API.
• Lagd CompoundTaskGenerator.
• Support subclassing av Task.
• Unngå å lage kataloger i fil backend med mindre det er nødvendig.
• Legg jug.mapreduce.reduce (som mimicks den innebygde redusere).

Hva er nytt i versjon 0.8.1:

• Fix Redis backend for ny versjon av klienten modul
• Raskere fil butikken for store filer
• Fix `invalidate` med Tasklets
• Installer tester og ha dem være kjørbart
• Endret hash beregningsmetoden. Dette har en spesiell sak på numpy arrays
• (for hastighet) og er mer utvidbar gjennom en __jug_hash__ krok
• Fix bug med Tasklet avhengig ikke blir ordentlig tatt hensyn
• Fix shell -delkommandoen i nyere versjoner av ipython
• Legg __FILE__ attributt å fake jugmodule

Hva er nytt i versjon 0.8:

• Tasklets
• Fix bugs i søvn-før og opprydding
• Fix bugs med CompoundTask (du trengte å kjøre mugge utføre to ganger før).

Hva er nytt i versjon 0.8-b0:

• Tasklets - Fiks bugs i søvn-før og opprydding .

Hva er nytt i versjon 0.7.4:

• Fix tilfelle der ~ / .jug / configrc gjør ikke eksisterer.
• Skriv ut vertsnavn for å låse filen på file_store.
• Refactored implementering av alternativer.
• Fix lossing oppgaver som ikke har kjørt.
• Fix MapReduce for tom innspill.

Hva er nytt i versjon 0.7.3:.

• Tolke ~ / .jug / configrc
• Fix bug med ventetider.
• Spesielt tilfelle sparer av numpy arrays.
• Legg til mer uttrykks jugdir syntaks.
• Lagre dict_store backend til disk.

Hva er nytt i versjon 0.7.2:.

• Inkludert manglende filer i fordelingen

Hva er nytt i versjon 0.7.1:.

• sove-til -delkommandoen
• Fix for barriere () og MapReduce samhandling.
• Dokumentasjon forbedring.

Hva er nytt i versjon 0.7:

• Bedre `` shell`` kommando
• omskrev metode for lasting jugfiles
• Oppgaver har opprinnelige funksjon tilgjengelig som `f`

Hva er nytt i versjon 0.6.9:.

• Ny sjekk kommando
• load_all () inne skall.

Hva er nytt i versjon 0.5.2:.

• Ny `shell` kommando
• Komprimering i Redis backend.
• Forbedringer i fart for 'ugyldig' kommando.

Hva er nytt i versjon 0.5.1:

• Redis backend
• Ordbok avhengig
• Endret kommandolinjegrensesnitt (jug kommando jugfile ...)

Krav :

• Python 2.6 eller nyere