Apache Spark

Spark er designet for å forbedre behandlingshastighet for dataanalyse og manipulasjon programmer.
Den ble skrevet i Java og Scala og gir funksjoner som ikke finnes i andre systemer, hovedsakelig fordi de ikke er mainstream heller ikke at nyttig for ikke-data søknadsbehandling.

Hva er nytt i denne utgaven.

• Kjernen API støtter nå multi-level aggregering trær for å hjelpe fremskynde dyrt redusere driften
• Forbedret feilrapportering har blitt lagt for enkelte fikser operasjoner.
• Spark Jetty avhengighet er nå i skyggen for å unngå konflikter med brukerprogrammer.
• Spark støtter nå SSL-kryptering for noen kommunikasjon endepunkter.
• Realtime GC beregninger og platetellinger har blitt lagt til UI.

Hva er nytt i versjon 1.3.0:

• Kjernen API støtter nå multi-level aggregering trær å hjelpe fremskynde dyrt redusere driften.
• Forbedret feilrapportering har blitt lagt for enkelte fikser operasjoner.
• Spark Jetty avhengighet er nå i skyggen for å unngå konflikter med brukerprogrammer.
• Spark støtter nå SSL-kryptering for noen kommunikasjon endepunkter.
• Realtime GC beregninger og platetellinger har blitt lagt til UI.

Hva er nytt i versjon 1.2.1:

• PySpark tallet slags operatøren støtter nå ekstern søl for store datasett .
• PySpark støtter nå kringkastings variabler større enn 2 GB og utfører ekstern søl under slag.
• Spark legger en jobb-nivå fremgang siden i Spark UI, en stabil API for fremgang rapportering, og dynamisk oppdatering av utgangs beregninger som jobber fullført.
• Spark har nå støtte for lesing binærfiler for bilder og andre binære formater.

Hva er nytt i versjon 1.0.0:

• Denne utgivelsen utvider Spark standardbiblioteker, innføre en ny SQL-pakke (Spark SQL) som lar brukerne integrere SQL-spørringer i eksisterende Spark arbeidsflyt.
• MLlib, Spark maskin læring bibliotek, er utvidet med sparsom vektor støtte og flere nye algoritmer.

Hva er nytt i versjon 0.9.1:

• Fast hash kollisjon bug i ekstern søl
• Fast konflikt med Spark log4j for brukere å stole på andre logge backends
• Fast Graphx mangler fra Spark montering krukke i maven bygger
• Till tause svikt som følge av kart utgangsstatus stiger Akka rammestørrelse
• Fjernet Spark unødvendig direkte avhengighet av ASM
• Fjernet beregninger-ganglia fra standard build grunn LGPL-lisens konflikt
• Rettet feil i distribusjonen tarball ikke inneholder gnist montering jar

Hva er nytt i versjon 0.8.0:

• Utvikling har flyttet til Apache Sowftware Foundation som en inkubator prosjekt.

Hva er nytt i versjon 0.7.3:

• Python ytelse: Spark mekanisme for gyting Python VMs har blitt forbedret for å gjøre det raskere når JVM har en stor haug størrelse, påskynde Python API.
• Mesos fikser: JAR lagt til jobben din vil nå være på klassebanen når deserializing oppgave resultater i Mesos
.
• Feilrapportering.: Bedre feilrapportering for ikke-serial unntak og altfor store oppgave resultater
• Eksempler:. Lagt til et eksempel på Stateful stream behandling med updateStateByKey
• Bygg:. Spark Streaming ikke lenger er avhengig av Twitter4J repo, som skal tillate det å bygge i Kina
• Feilrettinger i foldByKey, streaming teller, statistikk metoder, dokumentasjon, og web-grensesnitt.

Hva er nytt i versjon 0.7.2.

• Scala versjonen oppdatert til 2.9.3
• Flere forbedringer til Bagel, inkludert prestasjonsrettinger og en konfigurerbar lagring nivå.
• Nye API metoder. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition og andre
• En ny beregninger rapporteringsgrensesnitt, SparkListener, for å samle informasjon om hver beregning scenen. Oppgave lengder, byte stokkes, etc
• Flere nye eksempler ved hjelp av Java API, inkludert K-midler og databehandling pi.

Hva er nytt i versjon 0.7.0:

• Spark 0.7 legger en Python API heter PySpark <. / li>
• Spark jobber nå lansere en web dashbordet for å overvåke minnebruken til hver fordelt datasett (RDD) i programmet.
• Spark kan nå bli bygget ved hjelp av Maven i tillegg til SBT.

Hva er nytt i versjon 0.6.1:

• outs Fast altfor aggressiv melding som kan føre til at arbeidstakere til koble fra klyngen.
• Fikset en bug i det frittstående distribuere modus som ikke utsetter vertsnavn til scheduler, påvirker HDFS lokalitet.
• Forbedret tilkobling gjenbruk i shuffle, som i stor grad kan fremskynde små stokker.
• Faste noen potensielle vranglås i blokkmanageren.
• Fikset en bug få IDer av mislykkede vertene fra Mesos.
• Flere EC2 script forbedringer, som bedre håndtering av stikk tilfeller.
• Laget den lokale IP-adressen som Spark binder seg til å tilpasse.
• Støtte for Hadoop to distribusjoner.
• Støtte for lokalisering Scala på Debian distribusjoner.

Hva er nytt i versjon 0.6.0.

• Enklere utrulling
• Spark dokumentasjon har blitt utvidet med en ny rask start guide, flere instruksjoner distribusjon, konfigurasjon guide, tuning guide, og forbedret Scaladoc API dokumentasjon.
• En ny kommunikasjonssjef bruker asynkron Java NIO lar shuffle operasjoner kjøre raskere, spesielt når du skal sende store mengder data eller når arbeidsplasser har mange oppgaver.
• En ny Storage Manager støtter per-datasett lagringsnivå (f.eks om du vil beholde datasettet i minnet, deserialisert, på disken, etc, eller til og med kopiert over noder).
• Forbedret debugging.