Dapper Dataflow Engine

Dapper (Distributed og Parallell Program Execution Runtime) er et verktøy for å temme kompleksiteten i å utvikle for storskala cloud og grid computing, slik at brukeren kan lage distribuerte beregninger fra det essensielle - koden som vil Execut
Hvorfor Dapper?
Vi lever i interessante tider, der gjennombrudd i realfag stadig avhengige av den økende tilgjengelighet og overflod av commoditized, nettverksbaserte beregningsressurser. Med hjelp av skyen eller rutenett, beregninger som ellers ville kjøre i flere dager på en enkelt stasjonær maskin nå har distribuert og / eller parallelle formuleringer som kan churn gjennom, i løpet av noen timer, setter inn ti ganger så stor på hundre maskiner . Så forlokkende som ideen om styrke i tallene kan være, har nettopp fysiske maskinvaren er ikke nok - en programmerer har til å lage selve beregningen som vil kjøre på den. Derfor krever den høye verdien plassert på menneskelig innsats og kreativitet et programmeringsmiljø som gjør det mulig, og til og med oppmuntrer, fyndig uttrykk for distribuerte beregninger, og likevel samtidig ikke ofrer generalitet.
Dapper, står for Distributed og Parallell Program Execution Runtime, er et slikt verktøy for å bygge bro over forsker / programmererens høye nivå spesifikasjoner som fanger essensen av et program, med lavt nivå mekanismer som gjenspeiler uønsket realiteter distribuert og parallell databehandling. Under sin dataflyt-orientert tilnærming, Dapper gjør det mulig å kode lokalt i Java og gjennomføre globalt på skyen eller rutenett. Brukeren først skriver codelets, eller små kodebiter som utfører enkle oppgaver og ikke i seg selv utgjør et komplett program. Etterpå han eller hun spesifiserer hvordan disse codelets, sett på som topp-punkt i dataflyt, overføre data til hverandre via edge relasjoner. Den resulterende rettet asyklisk dataflyt grafen er et komplett program tolkes av Dapper server, som, etter å ha blitt kontaktet av langlivede arbeideren klienter, kan koordinere en distribuert utførelse.
Under Dapper modellen ikke lenger må brukeren å bekymre seg for tradisjonelt ad-hoc aspekter ved forvaltningen av skyen eller rutenett, som inkluderer håndtering av datasammenkoblinger og avhengigheter, utvinne fra feil, distribuere kode, og starter arbeidsplasser. Kanskje enda viktigere, gir det en hel Java-basert verktøysett og runtime for innramming nesten all grovkornet distribuerte beregninger på en konsistent format som gjør det mulig for rask distribusjon og enkel transport til andre forskere.

Egenskaper

• En kode distribusjonssystem som gjør at Dapper server for å overføre nødvendige programkode over nettverket og har kunder dynamisk laste den. En konsekvens av dette er at, sperring eksterne kjørbare, vedrørende Dapper programmer trenger bare skje på serversiden.
• En kraftig understrøm embedding metode for dynamisk endring av dataflyt grafen under kjøring.
• En kjøretids i vanilje Java, et språk som mange er sikkert kjent med. Bortsett fra kravet om en fersk JVM og eventuelt Graphviz Dot, er Dapper selvforsynt.
• Et robust kontrollprotokoll. Den Dapper server forventer et ubegrenset antall klienter til å mislykkes, når som helst, og har passelig re-kjøring og timeout politikk for å håndtere. Følgelig kan man starte og stoppe (lang levetid) klienter uten frykt for å sette hele systemet i en inkonsekvent tilstand.
• Fleksible semantikk som gjør at dataoverføringer via filer eller TCP bekker.
• Interoperabilitet med brannmurer. Siden din lokale sky eller rutenett sitter trolig bak en brannmur, har vi utviklet spesielle semantikk for streaming dataoverføringer.
• Liberal konsesjonsvilkår. Dapper er utgitt under LGPL å hindre forurensning av kodebasen.
• Operasjon som et innebygd program. En bruksanvisningen beskriver programmeringsgrensesnittet som brukerne kan følge for å kjøre Dapper server inne i et program som Apache Tomcat.
• Operasjon som en frittstående brukergrensesnitt. Med det kan man kjøre off-the-sokkel demoer og lære sentrale begreper fra visuelle eksempler. Ved å følge et minimalt sett med konvensjoner, kan man deretter pakke ens egne Dapper programmer som gjennomføring arkiver, og deretter få sanntidsdataflyt status og debugging tilbakemeldinger.

Hva er nytt i denne versjonen:

• Den ServerLogic # closeIdleClients metode har blitt endret for å bedre matche brukerens intuitive oppfatningen av lediggang.
• har blitt lagt En bruker alternativet for å angi serverens vertsnavn.
• Nettverk innvendige er omarbeidet for å bruke nye API-er.
• bygge prosessen har blitt oppdatert for å støtte både 32- og 64-bits Windows cross-samling.
• dapper. * Hierarkiet har blitt omdøpt til org.dapper. *.

Hva er nytt i versjon 0.96:

• Lagt FlowListener abstraksjon, slik at brukerne kan nå knytte metadata med datastrømmer og deres noder.
• Fikset en minnelekkasje i Dapper serveren.
• Lagt apiviz Doclet tags slik at relasjoner mellom klasser kan bedre visualisert.
• Lagt apiviz for visualisering av avhengigheter i Javadoc.
• Fikset en liten bug i BuildAndTest kjørbar.
• bygge prosessen er nå fullt integrert med Apache Ivy. Kilden distribusjon nå lengre skip med SST. I stedet er avhengigheter automatisk lastet ned; i motsatt fall kan man laste ned SST kilde, kompilere den, og publisere til en lokal depotet. Se bruksanvisningen for mer informasjon.
• Oppdatert byggeprosessen og fjernet overflødige trinn.
• Normalisert opphavsrett og lisens merknader i alle filer.
• Java 1.6 er nå pålagt å bygge og kjøre.
• Endre byggeprosessen å bruke Apache Ivy, noe som betyr at eksterne avhengigheter ikke lenger å være pakket med SST hovedfordelingen.
• Lagd 'Doxygen' mål å bygge prosessen slik at native komponenter kan dokumenteres.

Hva er nytt i versjon 0.95:

• har blitt lagt
• Initializers for logging av strukturer har blitt flyttet ut av serveren og klienten klasser og inn drivere.
• tilstandsautomater har blitt oppdatert til den nye merknaden-drevet API.
• Kildekoden er blitt normalisert å ha åtte plasser i stedet for faner.

Hva er nytt i versjon 0.94:

• kommandolinjealternativene for klienten og serveren er nå tilgjengelig, høflighet av Apache Commons CLI biblioteket.
• Klienten prosessen livssyklus er nå definert som slutter når en frakobling fra serveren som skjer.
• Stem generasjon funksjonalitet har gått fra å være et medlem metode for OutputHandleResource å være en statisk metode for CodeletUtilities.
• FlowNodeFactory klassen brukes til fordel for direkte oppretting av FlowNodes.
• Bygging av native komponenter har migrert til CUtfør.
• Logging har migrert til SLF4J.
• En README har blitt lagt til alle distribusjoner.

Hva er nytt i versjon 0.93:.

• kraftig forbedret pedagogiske eksempler
• Oppdatert manual.
• ekstra bekvemmelighet rutiner i dapper.codelet.CodeletUtilities for ressursspørring.
• Fjernet Generator, FileEdge, FileBatchGenerator, FileBatchEdge, FileResource, og FileBatchResource. De har blitt erstattet med begrepet abstrakte data håndtak i form av HandleEdge, InputHandleResource, OutputHandleResource. Se manual for endringer.
• Oppdatert dapper.codelet.Resource å eksportere input og output bekker.

Krav

• Java 2 Standard Edition Runtime Environment