DataCleaner

DataCleaner er en åpen kildekode og helt gratis løsning for organisasjoner og bedrifter som ønsker å øke og måle kvaliteten på sine data.
Med DataCleaner, vil brukerne kunne profilere, sammenligne, validere data mot forretningsregler, og overvåke progresjon av disse målingene over tid.
Blant funksjonene, kan vi nevne data overvåking, data profilering og DQ analyse, data rensing og berikelse, oppdage og fusjonere duplikater, kundedatakvalitet, samt superrask ETLightweight (Extract-Transform-Load).
Hvis du vil vite mer om DataCleaner funksjoner og muligheter, samt hvordan å jobbe med det, henvises det til http://eobjects.dk/docs

What er ny i denne utgivelsen :

• Forbedringer og nye funksjoner:
• Vi har gjort det mulig å lage og slippe tabeller via skrivebordet UI av DataCleaner. Merk at begrepet & quot; bord & quot; her faktisk dekker mer enn bare relasjonsdatabasetabeller. Det inkluderer også Ark i MS Excel datalagre, Samlinger i MongoDB, Dokumenttyper i CouchDB og ElasticSearch og så videre ... I utgangspunktet alle Datastore typer som støtter skrive-operasjoner, unntatt single-table datalagre som CSV datalagre, støtter denne funksjonaliteten! Funksjonaliteten er eksponert via:
• & quot; Lag tabell & quot; aktivert via høyreklikkmenyen av skjemaer i treet på venstre side av programmet.
• & quot; Lag tabell & quot; aktivert også via table-selection innganger i komponenter som setter inn i tabellen, Table oppslag og oppdatering bordet.
• & quot; Drop table & quot; aktivert via høyreklikkmenyen av tabeller i treet på venstre side av programmet.
• Vi har lagt til (valgfritt) evnen til å spesifisere ditt Salesforce.com webtjeneste Endpoint URL. Dette gjør at du kan bruke DataCleaner å koble til sandkasse miljøer Salesforce.com samt til dine egne endepunkter.
• ElasticSearch støtte har blitt forbedret, slik at tilpassede kartlegginger samt gjenbruk av ElasticSearch Datastore definisjoner nå også for søking og indeksering.
• Prøvetaking av poster og valg av mulige duplikater i Duplicate gjenkjenning funksjonen er forbedret, noe som fører til raskere konfigurasjon fordi de beslutninger som fattes i løpet av treningsøkten er mer representative.
• Duplicate påvisning modell filformat er oppdatert som har fjernet behovet for en egen "referanse 'fil for å redde siste trening beslutninger. Kompatibilitet med det gamle formatet er beholdt, men bruker det nye formatet legger mange fordeler for brukeropplevelsen.
• Bugfikses:
• En tråd sult problemet ble løst i DataCleaner monitor. Virkningen av denne saken var stor, men det skjedde bare i sjeldne og svært tilpassede tilfeller. Hvis tilpasset lytteren objekter på DataCleaner monitor ville kaste en feil, ville det resultere i en ressurs aldri blir frigjort og tar opp en tråd fra Quartz-planlegging basseng på serveren. Hvis dette skulle skje mange ganger serveren kunne til slutt gå ut av tråder i denne puljen.
• Den vertikale menyen på resultatet skjermen er nå å gjøre en skikkelig jobb med å vise etikettene av de komponentene som har resultater. Dette gjør det lettere å gjenkjenne hvilke menyelement poeng til hva resultatet element.

Hva er nytt i versjon 3.5.7:

• The 'Synonym lookup "forvandling har nå et alternativ å slå opp hvert tegn på inngangen. Dette er nyttig hvis du gjør utskifting av synonymer innenfor verdiene av en lang tekstfeltet.
• Blokkerings gjennomføring av DataCleaner arbeidsplasser gjennom skjermens webtjeneste for dette kan noen ganger mislykkes med en feil forårsaket av blokkering tråden. Dette problemet er løst.
• En forbedring ble gjort i måten arbeidsplasser og sekvensen av komponenter er lukket / ryddet opp etter henrettelsen.
• JNLP / Java WebStart versjon av DataCleaner ble avslørt av en feil i Java runtime forårsaker visse JAR-filer for ikke å bli gjenkjent av WebStart launcher, under visse omstendigheter. Dette problemet har blitt løst ved å gjøre små endringer til disse JAR-filer.
• Et par døde lenker i dokumentasjonen ble fikset.

Hva er nytt i versjon 3.5.4:

• Det er nå mulig å skjule utgangs kolonner av transformasjoner . Hiding vil ikke påvirke behandlingen flyt i det hele tatt, men bare skjule dem fra brukergrensesnittet, og dermed potensielt gjør opplevelsen mer ren, når vi samhandler med andre komponenter.
• En ny webtjeneste har blitt lagt til overvåking webapplikasjon, som gir en måte å målingen status for gjennomføringen av en bestemt jobb.
• En feil ble fikset, slik at HTML rapporten til å mislykkes for visse analysetyper når ingen poster hadde blitt behandlet.
• Og 6 andre mindre feilen har blitt adressert.

Hva er nytt i versjon 3.5.1:

• Capture endret poster:
• En ny filter ble lagt for å muliggjøre trinnvis behandling av poster som ikke har blitt behandlet før, f.eks for profilering eller kopiering bare endret poster. De nye filtre heter Capture endret poster, med henvisning til begrepet Endre datafangst.
• I kø gjennomføring av jobber:
• DataCleaner skjermen vil nå kø utførelsen av den samme jobben, hvis det utløses flere ganger. Dette sikrer at du ikke tilfeldigvis kjøre den samme jobben samtidig som kan føre til alle slags problemer, avhengig av hva jobben gjør.
• Mindre feilrettinger:
• Flere feilrettinger ble gjennomført.

Hva er nytt i versjon 3.5:

• Flere veivisere er nå tilgjengelig for å registrere datalagre; inkludert fil-opplasting til server for CSV-filer, database tilkobling oppføring, guidet registrering av Salesforce.com legitimasjon og mer.
• De jobben bygnings veivisere har også blitt utvidet med flere forbedrede funksjoner; Valg av verdifordeling og mønster finne felt i rask analyse veiviseren, en helt ny veiviser for å lage EasyDQ basert kunde rensing arbeidsplasser og en ny jobb veiviser for avfyring Pentaho Data Integration jobber (les mer under).
• Du kan nå ad-hoc spørring noen datalager direkte i nettbrukergrensesnittet. Dette gjør det enkelt å få raske eller sporadiske innsikt i dataene uten å sette opp jobber eller andre administrerte tilnærminger til behandling av data.
• Når jobber eller datalagre er opprettet, blir brukeren ledet til å ta affære med den nybygde objektet. For eksempel kan du meget raskt kjøre en jobb rett etter at den er bygget, eller spørre en datalager etter at det er registrert.
• Administratorer kan nå direkte laste opp jobber til depotet, som er spesielt nyttig hvis du ønsker å hånd redigere XML innholdet i jobbfilene.
• Mye av det tekniske cruft er nå gjemt bort i favør av å vise enkle dialoger. For eksempel når en jobb er utløst et stort lasteindikatoren vises, og når du er ferdig resultatet vil bli vist. Den avanserte logging skjermen som tidligere var det fortsatt kan vises når du klikker en kobling for ytterligere detaljer.

Hva er nytt i versjon 3.1.2:

• Vi har lagt til en web-tjeneste i overvåking Søknad om å få en (liste over) metriske verdier. Dette gjør overvåkingen enda mer anvendelig som en sentral infrastrukturkomponent, som en måte å overvåke data (kvalitet) og utsette resultatene til tredjeparts applikasjoner.
• "Table lookup" komponent har blitt forbedret ved å legge delta semantikk som en konfigurerbar eiendom. Bruke delta semantikk du kan justere hvis du ønsker det oppslag for å jobbe semantisk som en LEFT BLI eller en INNER JOIN.
• De EasyDQ komponenter har blitt oppgradert, og legger ytterligere konfigurasjonsvalg og et rikere deduplisering resultat grensesnitt.
• Ytelsesforbedringer har vært et spesielt fokus på denne utgivelsen. Forbedringer har blitt gjort i motoren på DataCleaner å ytterligere utnytte en streaming behandling tilnærming i visse hjørne saker som ikke var dekket tidligere.

Hva er nytt i versjon 3.1.1:

• Dato og tidsrelatert analyse alternativer har blitt utvidet , og legger distribusjons analysatorer for ukenummer, måneder og år. Alle analysatorer relatert til dato og klokkeslett er nå gruppert i en undermeny kalt & quot; Dato og tid & quot; etter & quot; Analyser & quot;.
• En valgfri & quot; beskrivende statistikk & quot; alternativet har blitt lagt til nummer analysator og dato / tid analysator. Dette alternativet tilføyer ytterligere beregninger til resultatene av disse analysatorer, for eksempel Median, Skjevhet, persentiler og kurtose. Disse verdiene er valgfritt siden deres minne fotavtrykk er noe større enn de eksisterende beregninger.
• Linjene i tidslinjen diagrammer av overvåkingen webapplikasjon har nå små prikker i dem. Dette er spesielt nyttig for diagrammer med noen (eller bare en) observasjoner i dem -. Å peke ut nøyaktig hvor observasjon poeng er
• Spørringen parser når påkalle ad-hoc-spørringer har også blitt vesentlig forbedret. Nå spørringer kan inneholde tydelig klausuler, * -wildcards, subqueries og er feiltolerant mot tekst-case problemer.
• To nye transformatorer har blitt lagt for å generere UUID og for å generere tidsstempler.

Hva er nytt i versjon 3.1:

• Metric formler - utdypet Data Quality KPIer:
• Det er nå mulig å bygge mye mer forseggjort Data Quality KPIer i DataCleaner overvåking webapplikasjon. Brukergrensesnittet lar deg bygge komplekse formler i et regneark-lignende formel stil; med variabler som samles inn av DataCleaner jobber.
• metriske formler kan kombinere en rekke beregninger, konstanter og operasjoner, så lenge det kan uttrykkes i en matematisk ligning.
• For eksempel - måle frekvensen av like poster i prosent av det totale plate teller. Eller måle mengden av produktkoder som er i samsvar med et sett av flere strengmønstre.
• Ad-hoc spørring - av alle datalager:
• Med DataCleaner 3.1 kan du nå utføre ad-hoc-spørringer til noen datalager! Spørsmål kan uttrykkes i vanlig SQL og vil bli brukt til databaser samt filer, NoSQL databaser og mer, og gir en virkelig nyttig spørring mekanisme for å strekke seg inn i din oppdagelse og data profilering erfaring.
• Alternativet søket er også tilgjengelig gjennom en web-tjeneste for å holde orden på brukere med ADMIN rolle. Spørringen er gitt som en HTTP parameter eller POST kroppen, og resultatet er gitt som en XHTML bordet.
• Verdi matcher - en ny analyse alternativ:
• Ofte ganger du har en fast idé om hvilke verdier bør være tillatt og forventet for et bestemt felt. I DataCleaner har det alltid vært Verdi Distribution analyse alternativet som vil hjelpe deg å hevde dine forutsetninger. I DataCleaner 3,1 skjønt, har du en mer presis tilbud - Verdi matcher. Denne analysen alternativet kan du angi et sett av forventede verdier og deretter utføre en verdifordeling som analyse, spesielt for å validere og identifisere uventede verdier.
• Kopiere, slette og forvaltning av arbeidsplasser:
• Ledelse av arbeidsplasser og resultater i DataCleaner skjermen programmet har blitt kraftig forbedret. Du kan nå klikke en jobb i Planlegging side av skjermen, og finn ledelse alternativer tilgjengelige for operasjoner som døpe, kopiering, sletting og mer. Hver operasjon respekterer bindinger til andre artefakter i skjermen, som analyseresultater, program og mer. Dette betyr at forvaltningen av overvåkingen depotet har blitt mye enklere og moden.
• Administrer datakvalitet historie:
• Noen ganger du står overfor situasjoner der du faktisk ønsker å gjøre overvåking med historiske data! Det kan være at du har historiske dumper eller sikkerhetskopier av databaser, som du ønsker å vise og fortelle historien om. Nå kan du gjøre analysen av denne historiske data, laste det opp til DataCleaner skjermen, og ved hjelp av en ny web-tjeneste, satt en historisk data for den aktuelle analyseresultatet. Dette betyr at dine tidslinjer vil den skal plotte resultatene ved hjelp av sin tiltenkte dato, men med de resultatene du har samlet kanskje på et senere tidspunkt.
• Gruppert scheduler støtte (EE only):
• Planleggeren av DataCleaner monitoren er ekstern, slik at den kan erstattes ved hjelp av enkel konfigurasjon. I Enterprise Edition (EE) av DataCleaner, tilbyr vi en klynge scheduler, gir muligheten til å laste balanse og distribuere henrettelser over en klynge av maskiner.
• Single-signon (SSO) ved hjelp av CAS (EE only):
• I Enterprise Edition (EE) av DataCleaner vi nå tilby en enkelt-signon alternativet for skjermen programmet. Nå DataCleaner kan være en integrert del av IT-infrastrukturen, også sikkerhet-messig.
• ... Og mye mer:
• Det ovenstående er bare en oppsummering. Har blitt løst mer enn tretti problemer i denne utgaven. Vi har løst flere forespørsler som kommer fra fora og samfunnet, og vi oppfordrer alle til å bruke dette mediet som et redskap for forandring. Vi er veldig glade for å gjøre utviklingen av DataCleaner bli sterkt påvirket av strømmene i samfunnet.

Hva er nytt i versjon 3.0.3:

• Legger til en tjeneste for døpe jobber i overvåkings depotet .
• Du får tilgang til dette som en avslappende webtjeneste eller interaktivt i brukergrensesnittet.
• En webtjeneste ble lagt for å endre den historiske datoen for en analyse resultat i overvåkings depotet.
• Internett-programmet har blitt gjort kompatibel med eldre JSF beholdere.
• Caching av konfigurasjon i Web-programmet ble kraftig forbedret, noe som fører til raskere siden lasting og jobb initialisering ganger.

Hva er nytt i versjon 3.0.2:

• Når utløser en jobb i overvåking webapplikasjon, panelet automatisk oppdateres hvert sekund for å få den nyeste topp henrettelsen.
• Fil-basert datalagre (som CSV eller Excel-regneark) med absolutte stier er nå løst riktig i overvåking webapplikasjon.
• & quot; Velg fra nøkkel / verdi-kart & quot; transformator støtter nå nestede velger uttrykk som & quot; Address.Street & quot; eller & quot; ORDERLINES [0] .product.name & quot;.
• Tabellen oppslag mekanismen har blitt optimalisert for ytelse, bruker preparerte uttalelser når du kjører mot JDBC databaser.
• Administratorer kan nå laste ned filbaserte datalagre direkte fra & quot; datalagre & quot; siden.
• Unntak håndtering i overvåking webapplikasjon har blitt forbedret litt, slik at feilmeldingene mer presis og intuitiv.