DataFu

DataFu ble utviklet på Linkedin og er skrevet i Java.

DataFu omfatter funksjoner / bibliotek for å jobbe med:

- Statistikk

- Estimering

- Prøvetaking

- Sessions

- Link analyse

- Set-operasjoner

- Vesker

DataFu er perfekt for data mining og statistiske anvendelser som arbeider på toppen av Hadoop eller Pig databaser.

Disse funksjonene lar utviklere å dra full nytte av alle data som er lagret inne i en Hadoop eller Pig database uten å måtte forholde seg til massive systemkrav for å gjøre det.

Hva er nytt i denne utgaven.

• par brukerdefinerte funksjoner for enkel tilfeldig prøvetaking med utskifting
• Flere avhengig nå pakket i DataFu så færre JAR avhengig nødvendig.
• SetDifference UDF for å beregne satt forskjell (f.eks A-B eller A-B-C)
.

Hva er nytt i versjon 1.2.0:

• Par brukerdefinerte funksjoner for enkel tilfeldig prøvetaking med erstatning.
• Flere avhengig nå pakket i DataFu så færre JAR avhengig nødvendig.
• SetDifference UDF for å beregne satt forskjell (f.eks A-B eller A-B-C)
.

Hva er nytt i versjon 1.1.0.

• Lagd SHA hash UDF
• InUDF og AssertUDF lagt for Pig 0,12 kompatibilitet. Dette er det samme som i og hevde.
• SimpleRandomSample, som implementerer en skalerbar enkelt tilfeldig utvalg algoritmen.