Apache Hadoop

Store data er et markedsføringsbegrepet som omfatter hele ideen om data mined fra kilder som søkemotorer, kjøpesentre, kjøpsmønstre sporet gjennom poengkort etc. I den moderne verden har internett så mange Datakilder, som oftere enn ikke skalaen gjør det ubrukelig uten å behandle og behandle, vil ta utrolig mye tid på en hvilken som helst server. Skriv inn Apache Hadoop

Ved å utnytte Hadoop-arkitekturen for å distribuere behandlingsoppgaver på tvers av flere maskiner på et nettverk , reduseres behandlingstider astronomisk og svarene kan bestemmes i rimelig tid. Apache Hadoop er delt inn i to forskjellige komponenter: en lagringskomponent og en prosesseringskomponent. I de enkleste termer gjør Hapood en virtuell server ut av flere fysiske maskiner . I virkeligheten håndterer Hadoop kommunikasjonen mellom flere maskiner slik at de jobber sammen tett nok til at det ser ut som om det bare er én maskin som arbeider med beregningene. Dataene fordeles på flere maskiner som skal lagres og Behandlingsoppgaver er allokert og koordinert av Hadoop-arkitekturen

. Denne typen system er et krav for å konvertere rå data til nyttig informasjon på omfanget av Big Data-innganger. Vurder mengden data som Google mottar hvert sekund fra brukere som skriver inn søknadsforespørsler. Som en total klump av data, vil du ikke vite hvor du skal begynne, men Hadoop vil automatisk redusere datasettet til mindre, organiserte delsett av data og tilordne disse håndterbare delmengdene til bestemte ressurser. Alle resultater blir deretter rapportert tilbake og samlet i brukbar informasjon .

En server som er enkel å sette

Selv om systemet høres komplisert, er de fleste bevegelige deler skjult bak abstraksjonen. Konfigurere Hadoop-serveren er ganske enkel , bare installer serverkomponentene på maskinvare som oppfyller systemkravene. Den vanskeligere delen planlegger nettverket av datamaskiner at Hadoop-serveren vil benytte for å distribuere lagrings- og behandlingsrollene. Dette kan innebære konfigurering av et lokalnettverk eller tilkobling av flere nettverk sammen på Internett . Du kan også bruke eksisterende skygtjenester og betale for en Hadoop-klynge på populære skyplattformer som Microsoft Azure og Amazon EC2. Disse er enda enklere å konfigurere som du kan spinne dem ad ad hoc og deretter avinstallere klyngene når du ikke trenger dem lenger. Disse typer klynger er ideelle for testing, da du bare betaler for tiden Hadoop-klyngen er aktiv.

Behandle dataene dine for å få informasjonen du trenger

Store data er en ekstremt kraftig ressurs, men dataene er ubrukelige med mindre det kan kategoriseres riktig og omdannes til informasjon. På nåværende tidspunkt tilbyr Hadoop klynger en ekstremt kostnadseffektiv metode for behandling av disse samlingene av data til informasjon.