S3QL

S3QL støtter Amazon S3 samt vilkår SFTP servere og gir deg effektivt med en harddisk på dynamisk, uendelig kapasitet som kan nås fra en hvilken som helst datamaskin med internettilgang.
S3QL er å tilby en standard, fullverdig UNIX filsystem som er konseptuelt forskjellig fra ethvert lokale filsystem. Videre har S3QL ekstra funksjoner som komprimering, kryptering, data de-duplisering, uforanderlige trær og snapshotting som gjør det spesielt egnet for online backup og arkivering.
S3QL er laget for å favorisere enkelhet og eleganse i løpet av ytelse og funksjonsrik krype. Care har blitt tatt for å gjøre kildekoden som lesbar og brukbar som mulig. Solid feildeteksjon og feilhåndtering er tatt fra første linje, og S3QL kommer med omfattende automatiserte testtilfeller for alle komponentene.
Før et filsystem kan monteres, har backend som vil holde data som skal initialisert. Dette gjøres med den mkfs.s3ql kommandoen. Her er vi ved hjelp av Amazon S3 backend, og nikratio-s3ql-bøtte er S3 bøtte der filsystemet vil bli lagret.
mkfs.s3ql s3: // nikratio-s3ql-bøtte
Å montere S3QL filsystemet lagret i S3 bøtte nikratio_s3ql_bucket i katalogen / mnt / s3ql, skriver du:
mount.s3ql s3: // nikratio-s3ql-bøtte / mnt / s3ql
Nå kan du be din favoritt backup-program for å kjøre en backup i katalogen / mnt / s3ql og dataene vil bli lagret en Amazon S3. Når du er ferdig, har filsystemet å bli demontert med
umount.s3ql / mnt / s3ql

Egenskaper :

• Transparent. Konseptuelt er S3QL umulig å skille fra et lokalt filsystem. For eksempel støtter det hardlinks, symlinks, full unix tillatelser, utvidede attributter og filstørrelser opp til 2 TB.
• Dynamic størrelse. Størrelsen av et S3QL filsystem vokser og krymper dynamisk etter behov.
• Compression. Før lagring, kan alle data komprimeres med LZMA, bzip2 eller LZ algoritme.
• Kryptering. Etter komprimering (men før opplasting), kan alle data AES kryptert med en 256 biters nøkkel. En ekstra SHA256 HMAC checksum brukes til å beskytte dataene mot manipulasjon.
• Data De-duplisering. Hvis flere filer har identisk innhold, vil de overflødige data lagres kun en gang. Dette fungerer på tvers av alle filer som er lagret i filsystemet, og også hvis bare noen deler av filene er identiske, mens andre deler er forskjellige.
• Uforanderlige Trees. Katalog trær kan gjøres uforanderlig, slik at deres innhold ikke lenger kan endres på noen måte. Dette kan brukes for å sikre at backup ikke kan endres etter at de har blitt gjort.
• Copy-on-Skrive- / snapshotting. S3QL kan kopiere hele katalogen trær uten å bruke noen ekstra lagringsplass. Bare hvis en av kopiene modifiseres, på en del av dataene som er modifisert vil oppta ekstra lagringsplass. Dette kan brukes til å lage intelligente snapshots som bevarer tilstanden til en katalog på ulike punkter i tid ved hjelp av et minimum av plass.
• High Performance uavhengig av nettverk latency. Alle operasjoner som ikke skrive eller lese filinnholdet (som å lage kataloger eller flytte, endre navn, og endre tillatelser på filer og kataloger) er veldig fort fordi de er utført uten noen nettverkstransaksjoner.
• S3QL oppnår dette ved å lagre hele filen og katalogstruktur i en database. Denne databasen er lokalt bufret og ekstern kopi oppdatert asynkront.
• Støtte for lav båndbredde. S3QL deler filinnholdet i mindre blokker og bufrer blokker lokalt. Dette reduserer både antall nettverkstransaksjoner som kreves for lesing og skriving av data, og mengden av data som må overføres når bare deler av en fil blir lest eller skrevet.

Hva er nytt i denne utgaven:

• Forsøk på å oppgradere et filsystem som er allerede på det nyeste revisjon ikke lenger gjengi de lokale metadata kopiere ubrukelig.
• Google lagring bøtte navn som inneholder punkter ikke lenger forårsake problemer med validering SSL-sertifikat.
• Løser en krasj når statvfs () kalles på en nesten tom fil system.
• Det er en ny & quot; swiftks & quot; backend for Openstack / Swift servere.
• Eliminerer en rase tilstand som kan føre til mount.s3ql krasje med en & quot; KeyError Samlinger / abc.py & quot;.
• Løser et krasj som kan oppstå når du prøver å rydde opp etter å ha mottatt en tilkobling eller serverfeil når du laster opp et objekt.

Hva er nytt i versjon 2.2:

• S3QL nå bruker SSL-tilkoblinger som standard, og bekrefter serversertifikater.
• En rase tilstand som resulterte i en tilsynelatende tap av eksterne metadata ble fikset.
• S3 backend nå sletter flere lagringsobjekter ved hjelp av én forespørsel om mulig, redusere ventetid, trafikk, og antall forespørsler til S3.
• er S3QL nå i stand til å oppdage server feil og redirections før alle data har blitt sendt til serveren.
• En ny 'Rackspace' backend som tillater spesifisering av objektet lagring regionen i URL lagring ble lagt til.
• Den mount.s3ql --compress alternativet kan nå spesifikasjon av komprimeringsnivå.

Hva er nytt i versjon 1.15:

• Sykling av metadata sikkerhetskopier når du bruker den lokale backend nå tar mye mindre tid.
• Det er ikke lenger nødvendig at S3QL og Python APSW være knyttet til samme SQLite delt bibliotek.
• I mount.s3ql, en krasj når du bruker --metadata-upload-intervallet 0 ble fikset.
• I stedet for helt demontering filsystemet (og forlate monteringspunktet utilgjengelige) når backend data mangler eller er ødelagt, S3QL returnerer nå en feil og bytter til skrivebeskyttet drift.

Hva er nytt i versjon 1.13:

• Denne versjonen fikser en bug som forårsaket misformet metadata skal skrives ut når du bruker siste eglibc versjoner.
• Det løser problemer når du prøver å få tilgang til en katalog på roten av filsystemet som nylig har blitt fjernet med s3qlrm.
• angivelig ACL støtte har blitt fjernet.
• Denne utgivelsen bedre håndtak bøtter med ugyldig DNS-navn.
• Det vil prøve på nytt hvis DNS er ikke tilgjengelig.

Hva er nytt i versjon 1.11.1:

• Denne versjonen fikser en krasj når du bruker S3 backend (som ble introdusert i utgivelsen 1.11), øker minste rapportert filsystemet størrelse til 1 TB, og arbeider rundt en df bug så størrelse er rapportert riktig.

Hva er nytt i versjon 1.11:

• Metadata om lagrede gjenstander er nå delt inn i flere felt, så ingen felt er lengre enn 256 bytes. (Dette gjør S3QL kompatibel med et bredere spekter av lagringsleverandører.) Den SWIFT backend gjentar nå hvis den mottar 5xx feilkoder fra den eksterne serveren, og ikke lenger mislykkes når du prøver å laste opp data med et utgått autoriseringstoken.

Hva er nytt i versjon 1.10:

• De s3s, s3cs og GSS backends har blitt fjernet. Bruk den nye --ssl alternativet sammen med S3 s3c og gs backends i stedet.
• S3QL ikke lenger holder styr på konsistens garantier for de ulike backends.
• Det økende antall ulike lagringsleverandører som tilbyr ulike regioner, redundans og tilgjengelighetsnivåer gjør dette ikke lenger mulig.
• Brukerhåndboken inneholder en ny seksjon, & quot; viktige regler for å unngå å miste data & quot;.
• Lese det anbefales på det sterkeste.

Hva er nytt i versjon 1.9:

• Denne versjonen gjør fil ganger ikke lenger endres ved endring av systemet tidssone, fikser og forbedrer contrib / benchmark.p, løser & quot; For mange lenket redirections & quot; bug, prøver på 5xx server feil, og legger til eksperimentell innebygd støtte for Openstack / SWIFT-servere og eksperimentell proxy-støtte.

Hva er nytt i versjon 1.8:

• A & quot; ValueError: Kan ikke dumpe NULL verdier & quot; krasj når filsystemet metadata ble lastet opp under tung filsystemet aktivitet ble fikset.
• s3qlcp og katalogoppføring ytelse for svært store kataloger ble forbedret.
• En rm ytelse regresjon ble fikset.
• -. Block ble omdøpt til --max-obj-size
• Noen krasj som skjedde i henhold tungt samtidig filsystemet bruk ble fikset.
• python-llfuse 0,37 brukes nå.

Begrensninger :

• Det er fortsatt mange bugs i koden, og du bør være klar til å håndtere dem. Likevel kan du være rimelig trygg på at bugs (selv om upraktisk) ikke vil true dine lagrede data.