MooseFS

MooseFS er en feiltolerant, nettverk distribuert filsystem som sprer data over flere fysiske servere som er synlig for brukeren som en ressurs & nbsp; For standard filoperasjoner MooseFS fungerer som andre Unix-alike filsystemer.:
& Nbsp; * En hierarkisk struktur (katalogtreet)
& Nbsp; * Lagrer POSIX filattributtene (tillatelser, siste tilgang og modifikasjons ganger)
& Nbsp; * Støtter spesielle filer (blokk og karakter enheter, rør og stikkontakter)
& Nbsp; * Symbolske lenker (filnavn peker å målrette filer, ikke nødvendigvis på MooseFS) og harde lenker (forskjellige navn på filer som refererer til de samme dataene på MooseFS)
& Nbsp; * Tilgang til filsystemet kan begrenses basert på IP-adresse og / eller passord
Karakteristiske trekk ved MooseFS er:
& Nbsp; * Høy pålitelighet (flere kopier av dataene kan lagres på tvers av egne datamaskiner)
& Nbsp; * Kapasitet er dynamisk utvides ved å feste nye datamaskiner / disker
& Nbsp; * Slettede filer blir beholdt til en konfigurerbar periode (et filsystem nivå "trash bin")
& Nbsp; * Koherente snapshots av filer, selv mens filen blir skrevet / vist
MooseFS består av fire komponenter:
& Nbsp; * administrerende server (master server) & ndash; en enkelt maskin administrere hele filsystemet, lagring av metadata for hver fil (informasjon om størrelse, egenskaper og filplassering (er), inkludert all informasjon om ikke-vanlige filer, dvs. kataloger, stikkontakter, rør og enheter).
& Nbsp; * dataservere (chunk servere) - en rekke råvare servere lagrer filer data og synkronisering av den mellom seg (hvis en bestemt fil er ment å eksistere i mer enn ett eksemplar).
& Nbsp; * Metadata backup-server (e) (metalogger server) - et ubegrenset antall servere, som alle store metadataEndrings og periodisk nedlasting viktigste metadata fil; slik som å fremme disse serverne til rollen som administrerende serveren når primary master slutter å fungere.
& Nbsp; * Klient datamaskiner som har tilgang (Mount) filer i MooseFS - Et ubegrenset antall maskiner ved hjelp mfsmount prosess å kommunisere med administrerende server (for å motta og endre metadata) og med chunkservers (å utveksle faktiske fildata).
mfsmount er basert på FUSE mekanismen (Filesystem i userspace), så MooseFS er tilgjengelig på alle operativsystem med en fungerende FUSE implementering (Linux, FreeBSD, MacOS X, etc.)
Metadata er lagret i minnet til administrerende server og samtidig lagres til disk (som en jevnlig oppdatert binærfil og umiddelbart oppdatert inkrementelle logger). Hoved binærfil samt loggene er synkronisert til metaloggers (hvis det finnes).
Fildata er oppdelt i fragmenter (biter) med maksimum 64MiB hver. Hver del er i seg selv en fil på utvalgte disker på dataservere (chunkservers).
Høy pålitelighet oppnås ved å konfigurere så mange forskjellige dataservere som hensiktsmessig å realisere "mål" verdi (antall eksemplarer som skal holde) satt for den gitte filen.
hvordan systemet fungerer
Alle filoperasjoner på en klientdatamaskin som har montert MooseFS er akkurat det samme som de ville være sammen med andre filsystemer. Operativsystemkjernen overfører alle filoperasjoner til FUSE modul, som kommuniserer med mfsmount prosessen. Den mfsmount prosess kommuniserer gjennom nettverket senere med administrerende server- og dataservere (chunk servere). Hele denne prosessen er helt transparent for brukeren.
mfsmount kommuniserer med administrerende serveren hver gang en operasjon på metadata er nødvendig:
& Nbsp; * lage filer
& Nbsp; * slette filer
& Nbsp; * lese kataloger
& Nbsp; * Lese og endre attributter
& Nbsp; * skiftende filstørrelser
& Nbsp; * ved starten av lesing eller skriving av data
& Nbsp; * på noen tilgang til spesielle filer på MFSMETA
mfsmount bruker en direkte tilkobling til dataserver (blings server) som lagrer den relevante del av en fil. Når du skriver en fil, etter endt Skriveprosessen administrerende serveren mottar informasjon fra mfsmount å oppdatere en fil lengde og den siste endring tid.
Videre dataservere (chunk servere) kommunisere med hverandre for å kopiere data for å oppnå riktig antall eksemplarer av en fil på forskjellige maskiner.
& Nbsp;
feiltoleranse
& Nbsp;
Administrative kommandoer tillate systemadministrator for å angi "mål", eller antall kopier som bør vedlikeholdes, på en per-katalog eller per-filnivå. Stille mål til mer enn ett og å ha mer enn én dataserver vil gi feiltoleranse. Når filen data lagres i mange kopier (på mer enn én dataserver), systemet er motstandsdyktig mot svikt eller temporære nettverk brudd av en enkelt dataserveren.
Dette selvfølgelig refererer ikke til filer med "mål" satt til 1, i hvilket tilfelle filen eksisterer bare på en enkelt dataserver uavhengig av hvor mange dataservere er utplassert i systemet.
Eksepsjonelt viktige filer kan ha sitt mål satt til et tall som er høyere enn to, som vil tillate disse filene for å være resistent mot et sammenbrudd av mer enn én server på en gang.
Generelt innstillingen for antall kopier tilgjengelig bør være ett mer enn det forventede antall utilgjengelige eller out-of-order servere.
I tilfeller der en enkelt dataserver opplever en svikt eller frakobling fra nettverket, filer lagret i det som hadde minst to eksemplarer, vil forbli tilgjengelig fra en annen dataserver. Dataene som er nå "under sitt mål" vil bli kopiert på en annen tilgjengelig dataserver til igjen gi det nødvendige antall eksemplarer.
Det bør bemerkes at hvis antallet tilgjengelige servere er lavere enn den "mål" satt for en gitt fil, det nødvendige antall kopier kan ikke bli bevart. Tilsvarende hvis det er samme antall servere som for tiden satt mål, og hvis en dataserver har nådd 100% av sin kapasitet, vil det ikke være i stand til å begynne å holde en kopi av en fil som er nå under sitt mål terskel på grunn av en annen dataserver går offline. I disse tilfeller vil en ny dataserver skal kobles til systemet så snart som mulig for å opprettholde det ønskede antall kopier av filen.
En ny dataserver kan være koblet til systemet til enhver tid. Den nye kapasiteten vil umiddelbart bli tilgjengelig for bruk til å lagre nye filer eller å holde replikert kopier av filer fra andre dataservere.
Administrative verktøy finnes for å spørre statusen til filer i filsystemet for å finne ut om noen av filene er for tiden under sitt mål (sett antall eksemplarer). Dette verktøyet kan også brukes til å endre målsetting etter behov.
Data fragmenter lagret i biter er versjonert, så re-koble en dataserver med eldre kopi av data (som om det hadde vært frakoblet i en periode), ikke vil føre til at filene blir usammenhengende. Dataserver vil synkronisere seg til å holde de nyeste versjonene av de biter, hvor de foreldede biter vil bli fjernet, og den ledige plassen vil overflyttes til å holde de nye biter.
Feil av en klient maskin (som kjører mfsmount prosessen) vil ikke ha noen innvirkning på sammenhengen i filsystemet eller på den andre kundens virksomhet. I verste fall dataene som ennå ikke har blitt sendt fra den mislykkede klientdatamaskinen kan gå tapt.
& Nbsp;
PLATTFORMER
& Nbsp; MooseFS er tilgjengelig på alle operativsystem med en fungerende FUSE implementering:
& Nbsp; * Linux (Linux 2.6.14 og opp har FUSE støtte inkludert i den offisielle kernel)
& Nbsp; * FreeBSD
& Nbsp; * OpenSolaris
& Nbsp; * MacOS X
Hovedserveren, metalogger server og chunkservers kan også kjøres på Solaris eller Windows med Cygwin. Dessverre uten FUSE det vil ikke være mulig å montere filsystemet innenfor disse operativsystemene

Hva er nytt i denne utgaven:.

< li> De viktigste endringene er fast signal håndtering i flertrådede moduler, mål og trashtime grensene i mfsexport.cfg, og en enkel sjekk for nedlastede metadatafiler.

Hva er nytt i versjon 1.6.19:

• Betydelige endringer ble introdusert til metalogger maskin og metarestore verktøy for bedre integritet av metadata.
• En skanning fremdriftsindikator i CS ble lagt til.
• Hovednavnet er nå løst når en tilkobling mislykkes.
• En ny økt opprettes når den forrige er tapt.
• Mange andre feilrettinger og forbedringer ble gjort.

Hva er nytt i versjon 1.6.17:

• I denne utgivelsen introduserte vi en automatisk databufferen administrasjon .
• Det er nok til å oppgradere bare hovedserveren (ingen endringer i chunk servere "eller kundenes kode ble gjort).
• Kjernen cache mekanisme alltid har eksistert, men inntil nå cachen ble alltid slettet ved å åpne en fil. Nå MooseFS styrer om å fjerne det eller ikke ved å sjekke om filen var eller ikke modifisert av en annen klient. La oss se på noen scenarier.
• Første scenario:
• 1. Datamaskin En leser filen X
• 2. Datamaskin B leser filen X
• 3. Computer A ønsker å lese filen X - vi forlater cache (filen ble ikke endret)
• Second scenario:
• 1. Datamaskin En leser filen X
• 2. Computer A skriver til filen X
• 3. Datamaskin A vil tor lese filen X - vi forlater cache (filen ble endret, men datamaskinen A vet om disse endringene)
• Tredje scenario:
• 1. Datamaskin En leser filen X
• 2. Datamaskin B skriver til filen X
• 3. Computer A ønsker å lese filen X - her vi må tvinge å tømme cache (fordi endringene ble gjort av Computer B og datamaskin En vet ikke om dem)
• I reelle miljøer første og andre scenarioer skje langt oftere enn tredje scenario og det er derfor det er fornuftig å la innholdet i cache og få generelle systemytelsen.
• Selvfølgelig er det noen mener scenarier (men de eksisterte også før) som dette:
• 1. Computer A åpner filen X og leser det helt (filen forblir i cache)
• 2. Datamaskin B endrer filen X
• 3. Computer A igjen leser filen X (men uten å lukke eller gjenåpning det - bare beveger seg i posisjon 0 og rereading det)
• I denne situasjonen Computer A ville få de samme dataene som i trinn 1, men det samme skjedde også i MooseFS før.
• Et attributt nodatacache ble også introdusert som forbyr å cache en fil. Fra versjon 1.6.17 opp filer med nodatacache attributt oppføre seg som filer gjorde i eldre versjoner av MooseFS. Dette flagget kan brukes med verktøy mfsseteattr, mfsdeleattr og mfsgeteattr.
• Dette flagget ble lagt forebyggende og sannsynligvis vil du ikke trenger å bruke den. Hvis du etter en stund ser det ut til at dette er virkelig ubrukelig det vil bli slettet. Men hvis du finner noen sak / scenario som krever deaktivere automatisk cache mekanisme kan du dele det med oss.