Apache Spark

Skjermbilde programvare:
Apache Spark
Prog.varedetaljer:
Versjon: 1.3.1 Oppdatert
Last opp dato: 12 May 15
Lisens: Gratis
Popularitet: 45

Rating: 5.0/5 (Total Votes: 1)

Spark er designet for å forbedre behandlingshastighet for dataanalyse og manipulasjon programmer.
Den ble skrevet i Java og Scala og gir funksjoner som ikke finnes i andre systemer, hovedsakelig fordi de ikke er mainstream heller ikke at nyttig for ikke-data søknadsbehandling.

Hva er nytt i denne utgaven.

  • Kjernen API støtter nå multi-level aggregering trær for å hjelpe fremskynde dyrt redusere driften
  • Forbedret feilrapportering har blitt lagt for enkelte fikser operasjoner.
  • Spark Jetty avhengighet er nå i skyggen for å unngå konflikter med brukerprogrammer.
  • Spark støtter nå SSL-kryptering for noen kommunikasjon endepunkter.
  • Realtime GC beregninger og platetellinger har blitt lagt til UI.

Hva er nytt i versjon 1.3.0:

  • Kjernen API støtter nå multi-level aggregering trær å hjelpe fremskynde dyrt redusere driften.
  • Forbedret feilrapportering har blitt lagt for enkelte fikser operasjoner.
  • Spark Jetty avhengighet er nå i skyggen for å unngå konflikter med brukerprogrammer.
  • Spark støtter nå SSL-kryptering for noen kommunikasjon endepunkter.
  • Realtime GC beregninger og platetellinger har blitt lagt til UI.

Hva er nytt i versjon 1.2.1:

  • PySpark tallet slags operatøren støtter nå ekstern søl for store datasett .
  • PySpark støtter nå kringkastings variabler større enn 2 GB og utfører ekstern søl under slag.
  • Spark legger en jobb-nivå fremgang siden i Spark UI, en stabil API for fremgang rapportering, og dynamisk oppdatering av utgangs beregninger som jobber fullført.
  • Spark har nå støtte for lesing binærfiler for bilder og andre binære formater.

Hva er nytt i versjon 1.0.0:

  • Denne utgivelsen utvider Spark standardbiblioteker, innføre en ny SQL-pakke (Spark SQL) som lar brukerne integrere SQL-spørringer i eksisterende Spark arbeidsflyt.
  • MLlib, Spark maskin læring bibliotek, er utvidet med sparsom vektor støtte og flere nye algoritmer.

Hva er nytt i versjon 0.9.1:

  • Fast hash kollisjon bug i ekstern søl
  • Fast konflikt med Spark log4j for brukere å stole på andre logge backends
  • Fast Graphx mangler fra Spark montering krukke i maven bygger
  • Till tause svikt som følge av kart utgangsstatus stiger Akka rammestørrelse
  • Fjernet Spark unødvendig direkte avhengighet av ASM
  • Fjernet beregninger-ganglia fra standard build grunn LGPL-lisens konflikt
  • Rettet feil i distribusjonen tarball ikke inneholder gnist montering jar

Hva er nytt i versjon 0.8.0:

  • Utvikling har flyttet til Apache Sowftware Foundation som en inkubator prosjekt.

Hva er nytt i versjon 0.7.3:

  • Python ytelse: Spark mekanisme for gyting Python VMs har blitt forbedret for å gjøre det raskere når JVM har en stor haug størrelse, påskynde Python API.
  • Mesos fikser: JAR lagt til jobben din vil nå være på klassebanen når deserializing oppgave resultater i Mesos
  • .
  • Feilrapportering.: Bedre feilrapportering for ikke-serial unntak og altfor store oppgave resultater
  • Eksempler:. Lagt til et eksempel på Stateful stream behandling med updateStateByKey
  • Bygg:. Spark Streaming ikke lenger er avhengig av Twitter4J repo, som skal tillate det å bygge i Kina
  • Feilrettinger i foldByKey, streaming teller, statistikk metoder, dokumentasjon, og web-grensesnitt.

Hva er nytt i versjon 0.7.2.

  • Scala versjonen oppdatert til 2.9.3
  • Flere forbedringer til Bagel, inkludert prestasjonsrettinger og en konfigurerbar lagring nivå.
  • Nye API metoder. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition og andre
  • En ny beregninger rapporteringsgrensesnitt, SparkListener, for å samle informasjon om hver beregning scenen. Oppgave lengder, byte stokkes, etc
  • Flere nye eksempler ved hjelp av Java API, inkludert K-midler og databehandling pi.

Hva er nytt i versjon 0.7.0:

  • Spark 0.7 legger en Python API heter PySpark <. / li>
  • Spark jobber nå lansere en web dashbordet for å overvåke minnebruken til hver fordelt datasett (RDD) i programmet.
  • Spark kan nå bli bygget ved hjelp av Maven i tillegg til SBT.

Hva er nytt i versjon 0.6.1:

  • outs Fast altfor aggressiv melding som kan føre til at arbeidstakere til koble fra klyngen.
  • Fikset en bug i det frittstående distribuere modus som ikke utsetter vertsnavn til scheduler, påvirker HDFS lokalitet.
  • Forbedret tilkobling gjenbruk i shuffle, som i stor grad kan fremskynde små stokker.
  • Faste noen potensielle vranglås i blokkmanageren.
  • Fikset en bug få IDer av mislykkede vertene fra Mesos.
  • Flere EC2 script forbedringer, som bedre håndtering av stikk tilfeller.
  • Laget den lokale IP-adressen som Spark binder seg til å tilpasse.
  • Støtte for Hadoop to distribusjoner.
  • Støtte for lokalisering Scala på Debian distribusjoner.

Hva er nytt i versjon 0.6.0.

  • Enklere utrulling
  • Spark dokumentasjon har blitt utvidet med en ny rask start guide, flere instruksjoner distribusjon, konfigurasjon guide, tuning guide, og forbedret Scaladoc API dokumentasjon.
  • En ny kommunikasjonssjef bruker asynkron Java NIO lar shuffle operasjoner kjøre raskere, spesielt når du skal sende store mengder data eller når arbeidsplasser har mange oppgaver.
  • En ny Storage Manager støtter per-datasett lagringsnivå (f.eks om du vil beholde datasettet i minnet, deserialisert, på disken, etc, eller til og med kopiert over noder).
  • Forbedret debugging.

Lignende programvare

XCloner
XCloner

1 Oct 15

simpleS
simpleS

6 Mar 16

pysolr
pysolr

6 Mar 16

Kommentarer til Apache Spark

Kommentarer ikke funnet
Legg til kommentar
Slå på bilder!