Hadoopy

Det er i utgangspunktet en Python bibliotek for MapReduce skrevet i Cython

Egenskaper .

• I likhet grensesnitt som Hadoop API (design patterns bruk mellom Python / Java-grensesnitt)
• Generelt kompatibilitet med dumbo å tillate brukere å bytte frem og tilbake
• Kan brukes på Hadoop klynger uten Python eller admin tilgang
• Rask konvertering og prosessering
• Bo lite og godt dokumentert
• Vær gjennomsiktig med hva som skjer
• Håndter programmer med kompliserte .so-tallet, ctypes og utvidelser
• Kode skrevet for hack-evne
• Enkelt HDFS tilgang (f.eks, lesing, skriving, ls)
• Support (og ikke replikere) større Hadoop økosystem (f.eks Oozie, surrer)
• Automatisert jobb parallellise 'auto-oozie "tilgjengelig i hadoopy flyt prosjekt (vedlikeholdes av gren)
• Lokal gjennomføring av umodifisert MapReduce jobb med launch_local
• lese / skrive sekvens filer av TypedBytes direkte til HDFS fra python (readtb, writetb)
• Gir utskrift til stdout og stderr i Hadoop oppgaver uten å forårsake problemer (bruker 'røret hopper "teknikk, begge er tilgjengelige i oppgavens stderr)
• Fungerer på klynger uten ekstra installasjon, Python, eller noen Python bibliotek (bruker Pyinstaller som er inkludert i denne kilden treet)
• Fungerer på OS X
• er kritisk sti i Cython
• Enkelt HDFS tilgang (readtb og ls) inne Python, selv inne kjører arbeidsplasser
• Unit test grensesnittet
• Rapportering ved hjelp av status- og tellere (og skrive ut uttalelser! Ingen grunn til å være redd for dem i Hadoopy)
• Støtter design patterns i Lin & Dyer bok
• Typedbytes støtte (veldig fort)
• Oozie støtte

Krav

• Cython 0,13 eller høyere