Apache Hive

Apache Hive ble først utviklet som en Apache Hadoop delprosjekt for å gi Hadoop administratorer med en enkel å bruke, dyktig spørrespråk for sine data.
På grunn av dette, ble Hive utviklet fra starten til å jobbe med store mengder informasjon for hver spørring og er perfekt tilpasset for store databaser og forretningsmiljøer.
Verktøy er inkludert for lett lasting, trekke ut og transformere data, mens tilpassede datastrukturer kan påtvunget et bredt sett av dataformater.
Siden det er en Hadoop-relaterte prosjekt på HDFS og HBase prosjekter støttes også automatisk.
HiveQL er sannsynligvis den beste delen av prosjektet, og gir en enkel, nyskapende og effektiv spørrespråk, og samtidig være i stand til å håndtere mappers og reduksjonsgir i situasjoner der de innfødte SQL syntax ikke kan få den ønskede data.

Hva er nytt i denne versjonen:

• Støtte ukorrelerte subqueries i WHERE-leddet
• Legg til NULL definert som å ro FORMAT spesifikasjon
• Ccreate / drop database skal befolke innganger / utganger og sjekk samtidighet og bruker tillatelse
• Support spesifisere skala og presisjon med Hive desimal typen
• La det være Tez
• En eksplodere funksjon som inneholder elementet posisjon i rekken
• Legg til char datatype
• Opprett samle UDF og gjøre evaluator gjenbruk
• Utvid posten forfatter og ORC-leser / skriver grensesnitt for å gi statistikk
• Implementere statistikk som gir ORC forfatter og leser grensesnitt
• Kommentere hive operatør tre med statistikk fra metastore
• Gi stripe nivå kolonnestatistikk i ORC
• Subquery støtte: forby hekking av subqueries
• Subquery støtte: la subquery uttrykk i å ha klausul
• Subquery støtte: flere tester
• Native Parkett Support i Hive
• Hive bør være i stand til å hoppe over topp- og bunntekstrader når du leser datafil for en tabell
• Legg til dato, tids DECIMAL, røye, VARCHAR typer støtte i HCat
• Bruk kart-join hint til cache mellomresultat
• Legg UDF å beregne avstanden mellom geografiske koordinater

Hva er nytt i versjon 1.2.0:

• Støtte ukorrelerte subqueries i WHERE-leddet
• Legg til NULL definert som å ro FORMAT spesifikasjon
• Ccreate / drop database skal befolke innganger / utganger og sjekk samtidighet og bruker tillatelse
• Support spesifisere skala og presisjon med Hive desimal typen
• La det være Tez
• En eksplodere funksjon som inneholder elementet posisjon i rekken
• Legg til char datatype
• Opprett samle UDF og gjøre evaluator gjenbruk
• Utvid posten forfatter og ORC-leser / skriver grensesnitt for å gi statistikk
• Implementere statistikk som gir ORC forfatter og leser grensesnitt
• Kommentere hive operatør tre med statistikk fra metastore
• Gi stripe nivå kolonnestatistikk i ORC
• Subquery støtte: forby hekking av subqueries
• Subquery støtte: la subquery uttrykk i å ha klausul
• Subquery støtte: flere tester
• Native Parkett Support i Hive
• Hive bør være i stand til å hoppe over topp- og bunntekstrader når du leser datafil for en tabell
• Legg til dato, tids DECIMAL, røye, VARCHAR typer støtte i HCat
• Bruk kart-join hint til cache mellomresultat
• Legg UDF å beregne avstanden mellom geografiske koordinater

Hva er nytt i versjon 1.1.0:

• Støtte ukorrelerte subqueries i WHERE-leddet
• Legg til NULL definert som å ro FORMAT spesifikasjon
• Ccreate / drop database skal befolke innganger / utganger og sjekk samtidighet og bruker tillatelse
• Support spesifisere skala og presisjon med Hive desimal typen
• La det være Tez
• En eksplodere funksjon som inneholder elementet posisjon i rekken
• Legg til char datatype
• Opprett samle UDF og gjøre evaluator gjenbruk
• Utvid posten forfatter og ORC-leser / skriver grensesnitt for å gi statistikk
• Implementere statistikk som gir ORC forfatter og leser grensesnitt
• Kommentere hive operatør tre med statistikk fra metastore
• Gi stripe nivå kolonnestatistikk i ORC
• Subquery støtte: forby hekking av subqueries
• Subquery støtte: la subquery uttrykk i å ha klausul
• Subquery støtte: flere tester
• Native Parkett Support i Hive
• Hive bør være i stand til å hoppe over topp- og bunntekstrader når du leser datafil for en tabell
• Legg til dato, tids DECIMAL, røye, VARCHAR typer støtte i HCat
• Bruk kart-join hint til cache mellomresultat
• Legg UDF å beregne avstanden mellom geografiske koordinater

Hva er nytt i versjon 1.0.0:

• Støtte ukorrelerte subqueries i WHERE-leddet
• Legg til NULL definert som å ro FORMAT spesifikasjon
• Ccreate / drop database skal befolke innganger / utganger og sjekk samtidighet og bruker tillatelse
• Support spesifisere skala og presisjon med Hive desimal typen
• La det være Tez
• En eksplodere funksjon som inneholder elementet posisjon i rekken
• Legg til char datatype
• Opprett samle UDF og gjøre evaluator gjenbruk
• Utvid posten forfatter og ORC-leser / skriver grensesnitt for å gi statistikk
• Implementere statistikk som gir ORC forfatter og leser grensesnitt
• Kommentere hive operatør tre med statistikk fra metastore
• Gi stripe nivå kolonnestatistikk i ORC
• Subquery støtte: forby hekking av subqueries
• Subquery støtte: la subquery uttrykk i å ha klausul
• Subquery støtte: flere tester
• Native Parkett Support i Hive
• Hive bør være i stand til å hoppe over topp- og bunntekstrader når du leser datafil for en tabell
• Legg til dato, tids DECIMAL, røye, VARCHAR typer støtte i HCat
• Bruk kart-join hint til cache mellomresultat
• Legg UDF å beregne avstanden mellom geografiske koordinater

Hva er nytt i versjon 0.8.1:

• Verktøy for å forenkle datauttrekk / trans / belastning (ETL).
• En mekanisme for å innføre struktur på en rekke dataformater.
• Tilgang til filer som er lagret enten direkte i Apache HDFS (TM) eller i andre datalagringssystemer som Apache HBase (TM).
• Query utførelse via MapReduce.

Hva er nytt i versjon 0.8.0:

• Verktøy for å forenkle datauttrekk / trans / belastning (ETL)
• En mekanisme for å innføre struktur på en rekke dataformater
• Tilgang til filer som er lagret enten direkte i Apache HDFS (TM) eller i andre datalagringssystemer som Apache HBase (TM)
• Query gjennomføring via MapReduce

Hva er nytt i versjon 0.7.1:

• Bugs:
• Unntak på vinduer ved bruk av JDBC driver. & quot; IOException. Systemet finner ikke angitt bane & quot;
• Schema opprettelse skript er ufullstendig, siden de la ut tabeller som er spesifikke for DataNucleus.
• Forbedringer:
• Forbedre diverse feilmeldinger.
• Retur riktige større / mindre versjonsnumre for JDBC Hive Driver.
• Legg til HivePreparedStatement implementering basert på dagens HIVE støttet datatype.
• Oppgaver:
• Hive i Maven.
• Gi Metastore oppgradere skript og standardskjemaer for PostgreSQL.

Hva er nytt i versjon 0.7.0:

• Ny funksjon:
• Autorisasjon infrastruktur for Hive
• Implementere Indeksering i Hive
• Legg reflektere () UDF for reflekterende påkalling av Java metoder
• Hive TypeInfo / ObjectInspector å støtte union (foruten struct, array, og kartet)
• Implementere GenericUDF str_to_map
• Patch å støtte HAR klausul i Hive
• Spor tiltrer som blir konvertert til kart-bli automatisk
• Call hyppighet og varighet beregninger for HiveMetaStore via JMX
• Vedlikehold lastAccessTime i metastore
• Forbedring:
• Gi mulighet til å eksportere en HEADER
• Støtte for tydelig markering på to eller flere kolonner
• Beskriv utvidet tabell / partisjon produksjonen er kryptisk
• mangler noen JDBC funksjonalitet som getTables, getColumns og HiveResultSet.get * metoder basert på kolonnenavn.
• Tapping logger fra barn prosesser
• Support filter pushdown mot ikke-innfødte tabeller
• Sett avhengig på HBase foreldet API
• Legg queryid mens låsing
• Oppdater transident_lastDdlTime bare hvis ikke spesifisert
• Legg til mer debug informasjon for bikube låse
• HiveInputFormat eller CombineHiveInputFormat alltid synkronisere blokker av RCFile to ganger
• Vis den tid den lokale oppgaven tar
• Opprett en ny dyrepasser eksempel når du prøver på nytt lås, og mer info for debug
• Legg til et alternativ til å kjøre oppgave å sjekke kart bli mulighet i ikke-lokal modus
• Mer debugging for låsing
• Legg til et alternativ i dynamiske partisjon inserts å kaste en feil hvis 0 partisjoner er opprettet
• Bugs:
• & quot; LOAD DATA LOKALE INPATH & quot; mislykkes når tabellen allerede inneholder en fil med samme navn
• NULL ikke håndteres riktig i å bli med
• HiveInputFormat.getInputFormatFromCache & quot; svalene & quot; Årsaken unntak når kaste IOExcpetion
• Legg til fremgang i å delta og groupby
• Enkle UDAFs med mer enn en parameter krasj på tom rad søket
• UDF-feltet () virker ikke
• Dynamiske partisjon inserts igjen tomme filer urenset i Hadoop 0.17 lokal modus
• Hopp teller oppdatering når RunningJob.getCounters () returnerer null

Hva er nytt i versjon 0.5.0.

• La brukeren spesifisere serde for egendefinerte skript
• Legg til UDF unhex.
• Fjern lzocodec import fra FileSinkOperator.
• Driver NullPointerException når du ringer getResults uten først kompilering.
• Ytelse forbedring for RCFile og ColumnarSerDe i Hive.