Apache Kafka

Apache Kafka er lik Facebooks Scribe-motoren (hvis du er kjent til det), og kan brukes til å håndtere aktivitetsstrømmer.

Det fungerer ved at utviklere å opprettholde en eller flere aktivitetsstrømmer (eller feeder).

Disse feeds kan organiseres i emner, og deretter sendes (publisert) til alle abonnerte forbrukere.

De delene av Kafka som administrere og publisere feedene kalles produsenter.

Kafka er i utgangspunktet den midterste laget mellom produsenter og forbrukere, et komplekst system som kan håndtere alle typer trafikk og forespørsler på alle typer skala.

Dette er fordi Kafka ble bygget for å håndtere distribuerte serverarkitekturer, slik at utviklere å skalere sine Pub / sub-systemer på nettskytjenester.

Hva er nytt i denne utgivelsen:.

• En ny Java produsent for enkel implementering og forbedret ytelse
• Slett emne støtte.
• Per tema konfigurasjon av preferanse for konsistens over tilgjengelighet.
• Scala 2.11 support og slippe støtte for Scala 2.8.
• LZ4 kompresjon.

Hva er nytt i versjon 0.8.2.1:

• A ny Java produsent for enkel implementering og forbedret ytelse.
• Slett emne støtte.
• Per tema konfigurasjon av preferanse for konsistens over tilgjengelighet.
• Scala 2.11 support og slippe støtte for Scala 2.8.
• LZ4 kompresjon.

Hva er nytt i versjon 0.8.0-beta1.

• Faste eksisterende Perf verktøy
• Wire eksisterende produsent og forbruker til å bruke den nye ZK datastrukturen.
• Lag / slette ZK banen etter et emne i en admin verktøyet.
• Gjennomført en innebygd kontrolleren.

Hva er nytt i versjon 0.7.1:

• Unngå duplisert melding under forbruker rebalanseringen
• Support konfigurerbar send / motta socket buffer størrelse i server
• JAVAAPI ZookeeperConsumerConnectorTest dupliserer mange tester i scala versjonen
• Gjør # forbruker rebalanseringen prøver å gjenoppta konfigurerbar
• SyncProducer skal logge vert og port hvis ikke kan koble til.
• Reduser dupliserte meldinger servert av kafka forbrukeren for ukomprimerte emner
• Unngå hogst stacktrace direkte
• Gjør treknings tid under forbruker rebalanseringen konfigurerbar
• Forbedre log4j Appender å bruke kafka.producer.Producer, og støtte zk.connect | broker.list alternativer
• Separer ut Kafka speiling i en frittstående app
• Hadoop produsent bør bruke programvare lastbalansering

Hva er nytt i versjon 0.7.0:

• Kafka støtter nå block level komprimering. Se komprimering wiki for detaljer. Foreløpig bare gzip er sup portet.
• Logg oppbevaring kan nå stole på plass (log.retention.size).

Hva er nytt i versjon 0.6:

• Faste Bugs:
• SimpleProducer miste meldinger når kontakten blir en io unntak
• Dersom produsenten sender en ugyldig MessageSet megleren vil legge den, ødelegge loggen
• ByteBufferMessageSet logger feil om hente størrelse
• Shutdown Kafka når det er noen disk IO error
• Overfør server alle unntakene til forbruker
• close () i SimpleConsumer skal synkroniseres
• forbrukerloven dokumentasjon
• Forbedre Event i AsyncProducer
• dyrepasser basert Producer fjerner ikke en død megler fra sin liste mens serverer en produsere forespørsel
• Forbruker logger feil under tett
• Forbedringer:
• Opprydding JUnit test
• MessageSet ikke implementerer Java iterable
• Standard Encoder for Kafka log4 Appender
• Eksplisitt nevne alle emner
• refactor offentlig API i java og Scala API
• Forbedre API-dokumenter for alle offentlige APIer
• Ta av java FileMessageSet API
• Unit test mislykkes på enkelte Linux-maskiner
• Opprett SBT delprosjekter for perf, eksempler, contrib som i øyeblikket bruker Ant
• Legg JMX for endring log4j nivå dynamisk på Kafka server
• Oppgrader til Zookeeper 3.3.3
• JAVAAPI MessageSet ikke trenger å implementere writeTo socket
• Nye funksjoner:
• Ny produsent API