Apache Pig har gytt fra Apache Hadoop prosjektet og er ett av sine moduler som hvor ansvaret for å tilby en måte å analysere dataene den behandles og lagres.
Pig bruker et egendefinert spørrespråk kalles "Pig Latin" som er utrolig lett å lære og støtter både relasjonelle og funksjonelle stiler.
Dette betyr at du kan bruke den som en klassiker SQL språket nyter godt av data blir med og filtre, eller du kan bruke sine MapReduce funksjoner, data mappers og reduksjonsgir.
Som standard Apache Pig var ment å brukes inne Hadoop installasjoner, men nyere versjoner tillate det å kjøre separat via en egen JVM
Hva er nytt i denne utgaven.
- Plugg kjøring motorer (for å tillate gris kjøre på ikke-MapReduce motorer i fremtiden)
- Auto-local mode (til jobber med små innspill datastørrelsen til å kjøre i-prosessen)
- Hent optimalisering (for å bedre interaktivitet av grynt)
- Faste stanger for lokal-modus
- Støtte for brukernivå jar cache
- Støtte for svartelisting og hvitliste gris kommandoene
- Flere ytelsesrettinger og debuggability funksjoner
- Et par ikke-bakoverkompatibel modifikasjoner grensesnittet har blitt introdusert i denne utgaven for å gjøre gris arbeid med ikke-MapReduce motorer
Hva er nytt i versjon 0.14.0:
- Plugg kjøring motorer (for å tillate gris kjøre på ikke -mapreduce motorer i fremtiden)
- Auto-local mode (til jobber med små innspill datastørrelsen til å kjøre i-prosessen)
- Hent optimalisering (for å bedre interaktivitet av grynt)
- Faste stanger for lokal-modus
- Støtte for brukernivå jar cache
- Støtte for svartelisting og hvitliste gris kommandoene
- Flere ytelsesrettinger og debuggability funksjoner
- Et par ikke-bakoverkompatibel modifikasjoner grensesnittet har blitt introdusert i denne utgaven for å gjøre gris arbeid med ikke-MapReduce motorer
Hva er nytt i versjon 0.11.0:
- Denne utgivelsen inkluderer DateType datatype, RANK, CUBE og Samle operatører, Groovy UDFer, tilpasset redusering estimering, skjemabasert tupler og HCatalog DDL integrering.
Hva er nytt i versjon 0.9.1.
- Denne utgivelsen fungerer med Hadoop 0,20
Hva er nytt i versjon 0.6:
- Lagt Zebra som en contrib prosjekt. Se http://wiki.apache.org/pig/zebra
- Lagt UDFContext, gir UDFer en måte å passere info fra foran til bak enden og gir UDFer tilgang til JobConf i backend.
- Lagt venstre ytre delta for fragment replikere delta.
- Lagt evne til å sette jobb prioritet fra Pig Latin.
- Forbedret multi-spørring for å samarbeide med tiltrer i noen tilfeller.
- omarbeidet minne manager for å redusere GC Overhead og Out of Heap feil.
- Lagt akkumulator grensesnittet for brukerdefinerte funksjoner.
- Over 100 feilrettinger og forbedringer.
Krav
- Java 1.6.x eller høyere
- Apache Hadoop 0.20.x eller høyere
Kommentarer ikke funnet