Rocks Cluster

Rocks Cluster er en åpen kildekode-prosjekt som gir brukerne en Linux-distribusjon basert på CentOS operativsystem og designet fra grunnen av for å tilby en fullverdig klynge på en CD-løsning for Red Hat Linux klynger.
Tidligere kjent som NPACI Rocks Cluster Tool Kit, tillater distribusjon alle å enkelt og raskt bygget en Rocks klynge. Den gjør det også erfarne brukere å bygge beregnings klynger, visualisering flislagt skjermer vegger og rutenett endpoints.Based på CentOSBeing basert på CentOS Linux-distribusjon, som igjen er basert på Red Hat Enterprise Linux operativsystem, gir Rocks Cluster distro en kraftig, stabil og pålitelig enterprise-ready system som har en unik og enkel installasjonsprosess.
Den leveres med alle nødvendige verktøy for administrasjon av klynger, som for eksempel PBS, GM støtte, Maui, ganglia, og mer. Du vil være i stand til å distribuere, oppgradere, skala og administrere klynger uten mye hassle. I øyeblikket er det kun 64-bit (x86_64) arkitektur supported.Getting startet med Rocks Clusterin for å bygget et databehandlingsklyngen, vil brukere må opprette en bare-bones klynge, starte sin front-end med Kernel / Boot roll og legge basen Roll, OS Roll Disk 1, OS Roll Disk 2 og OS Disk 3 ISO-bilder. For fullverdig klynger, bør du også legge til Area51, SGE, ganglia, HPC, Python, Perl, og web-server ruller.
På den annen side bør de av dere som ønsker å bygge en tilpasset klynge velge fra Rocks Cluster à la carte-utvalg og laste ned basen og Kernel / Boot rundstykker, samt alle av operativsystemet rolls.Bottom lineAll i alt, Rocks Cluster er en CentOS-baserte enterprise-ready Linux-distribusjon som brukes av hundrevis av forskere over hele verden til å installere sin egen klynge. Det er en unik operativsystem drevet av en overflod av åpen kildekode-teknologier og konstruert for enkelt å distribuere håndterbare klynger

Hva er nytt i denne utgaven.

< ul>

Hva er nytt i versjon 6.1.1:

• Den siste oppdateringen av Rocks Codename Sand Boa nå utgitt. Sand Boa er en 64-bit bare slipp og er basert på CentOS 6.5 The Rocks-leverte OS ruller har alle oppdateringer benyttet per 14. april 2014. Dette inkluderer oppdateringer for OpenSSL Heartbleed.
• Støtte for ZFS har blitt oppdatert til versjon 0.6.2. Condor er nå den HTCondor roll er på utgivelsen 8.0.6
• Også inkludert er en ny rull kalt fingeravtrykk som dynamisk avgjør avhengig av kompilert kode på begge Rocks og ikke-Rocks systemer.

Hva er nytt i versjon 5.4:

• Nye funksjoner:
• Redesign av snøskred Installer.
• Mens observere resultatene av Avalanche Installer på en 1000-node-maskin, ble det klart at vi må redusere så mye trafikk til frontend som mulig. Dette førte til utskifting av python BitTorrent-baserte installasjonsprogrammet med en BitTorrent-inspirert installasjons skrevet i C. C-kode tillater oss å legge flere filer inn i peer-to-peer-nettverk, spesielt: product.img (160KB), Stage2. img (108MB) og updates.img (98MB).
• For ytterligere å redusere trafikken til frontend, sender frontend nå pakke spådommer til å installere noder. Når en node ber om en pakke, den tracker på frontend sender en liste over node adresser hvor den pakken kan bli funnet, pluss en liste over de neste 9 pakker som node vil mest sannsynlig be om neste. Når lignende apparater er samtidig installere, reduserer dette tracker trafikken ved 10x.
• Installere noder kan grupperes. Når en installerer node ber tracker for plasseringen av en pakke, og hvis andre noder er samtidig å installere, vil tracker favorisere noder som er i samme gruppe som ber node, det vil si en liste tracker sender tilbake til installasjon node vil ha noder fra samme konsern som installering node på toppen av listen. Standard gruppering er av rack, men det kan bli kontrollert av & quot; coop & quot; attributt. For eksempel, hvis du ønsker å legge alle noder fra stativet 0 og rack 1 i samme gruppe (kalt & quot; red & quot;), vil du utføre: & quot; steiner satt verten attr rack0 rack1 coop red & quot;
.
• Man kan spesifisere flere trackere og flere & quot; pakke servere & quot ;. En pakke server er en node som er & quot; garantert & quot; å ha den forespurte filen (f.eks frontend).
• For hver nedlastede filen, en MD5 checksum verifikasjon utføres. Dette oppdager tilfelle hvor en node kan ha ødelagt en fil og hindrer den ødelagte filen spre seg i peer-to-peer-nettverk.
• Channel bonding for noder er nå kontrollert av Rocks kommandolinjen.
• Channel bonding konfigurasjon for en node er lagret i databasen og kan legges til, fjernes eller endres med Rocks kommandolinje (f.eks, & quot; steiner legge vert limt ... & quot;). Etter kanal bonding er konfigurert for en node, kan det være dynamisk oppdatert ved å kjøre & quot; rocker sync vert nettverk ... & quot;.
• Alle noder 'brannmurregler er kontrollert av Rocks kommandolinjen.
• Reglene for alle nodene er lagret i databasen og kan legges til, fjernes eller endres med Rocks kommandolinje (f.eks, & quot; steiner åpen vert brannmur & quot ;, & quot; steiner nær vert brannmur & quot ;, & quot; steiner fjern vert brannmur & quot;). Etter en node brannmurinnstillinger blir endret, kan de brukes til noden on-the-fly med & quot; rocker sync vert brannmur 'hostname' & quot; (Denne kommandoen kalles også når brukeren utfører & quot; rocker sync vert nettverk ... & quot;).
• Innføring av & quot; Air Traffic Control & quot;.
• Vi har utviklet en tjeneste som kalles & quot; Airboss & quot; som ligger på den fysiske frontend (i dom0) og det tillater ikke-root brukere å kontrollere sin VM. Motivasjonen for denne tjenesten er at libvirt (a virtualisering API skrevet av RedHat som kan styre flere forskjellige virtualiserings implementasjoner) foruts & quot; root & quot; tilgang til å kontrollere og overvåke VMs.
• Airboss i Rocks er en liten tjeneste som bruker digitalt signerte meldinger for å gi ikke-root brukere tilgang til deres virtuelle cluster (og bare deres virtuelle cluster). Den Airboss er avhengig av offentlige / private nøkkelpar å validere meldinger. Administratoren av fysisk hosting klyngen må utstede en enkel kommando for å knytte en offentlig nøkkel med en bestemt virtuell klynge. På dette punktet, kan hele prosessen med å drive opp, slår ned og installere en virtuell klynge styres av (autorisert) non-root bruker.
• I tillegg til VM power control, vi har også lagt til muligheten til å feste til en VM konsoll. Dette tillater brukere å se hele startsekvensen for et VM starter fra & quot; BIOS & quot; oppstartsmeldinger.
• Flere Rocks kommandoene ble lagt til støtte denne funksjonen: & quot; steiner lage nøkler & quot; (For å lage offentlige / private nøkkelpar), & quot; steiner satt vert makt & quot; (For å starte opp / ned VM og å tvangs installere et VM, beslektet med PXE starte en fysisk maskin), og & quot; steiner åpen vert konsollen & quot; (For å feste til en VM konsoll).
• & quot; greceptor & quot; erstattet med & quot; channeld & quot;.
• Tråden protokoll for ganglia meldinger endret som krevde en større overhaling å greceptor. Vi har gjort beslutningen om å skrive en enkel RPC-basert tjeneste (kalt 'channeld') for å overta ansvaret for greceptor. Channeld aksepterer 411-put forespørsler og virker på dem ved hjelp av 411-get til å laste ned filer under kontroll av 411.
• Alle andre komponenter av 411 forblir uendret, bare varslings motoren har blitt forbedret.
• DNS-oppløsning for flere domener.
• DNS navnesystemet på frontend støtter nå flere soner, der hvert subnett administrert av frontend kan settes inn i en annen sone. DNS-tjenesten kan slås på eller av for hver enkelt sone.
• Logg apparatet støtte.
• En node kan konfigureres som et Pålogging apparatet. Som standard, kan et Pålogging apparatet sende jobber, men det kan ikke utføre jobbene.
• Angi navnet på en vert basert på navnet til en bestemt nettverksgrensesnitt.
• & quot; primary_net & quot; attributt tillater noder å ha / bin / hostname sett til navnet på et nettverksgrensesnitt annet enn & quot; privat & quot ;. Dette er nyttig for innlogging eller andre flere grensesnitt apparater.
• Enkelt bytte to grensesnitt med en Rocks kommando.
• Hvis du vil bytte innstillingene for to grensesnitt, utføre & quot; rocker swap vertsgrensesnittet ... & quot;.
• Har laget en GIT oppbevaringssted for Rocks-relaterte kildekoden.
• Det vert & quot; git.rocksclusters.org & quot; er en GIT depot for alle kjerne Rocks kode, UCSD Triton Resource kode og Rocks contrib koden.
• Ekstrautstyr:
• OS: Basert på CentOS frigi 5 / oppdatering 5 og alle oppdateringer som av 2 november 2010
.
• Base: Anaconda installatør oppdatert til v11.1.2.209
.
• Base: ikke lenger tilordne det private nettverket til & quot; eth0 & quot ;, i stedet Rocks holder styr på nettverket en node sparket fra og kart at nettverket til & quot; privat & quot; nettverk. For eksempel, hvis en node kickstarted av & quot; eth1 & quot ;, deretter & quot; eth1 & quot; vil bli kartlagt til privat nettverk.
• Base: forherdet Anaconda installasjonsprogrammet til mer aggressivt skrive grub konfigurasjonsfiler på boot disk. Dette bidrar til å redusere & quot; henge mens du prøver å laste Grub Stage2 & quot; problemet.
• Base: fjernet ext4 kjernemodul fra installasjonsmiljøet. Vi fant ut at du prøver å montere en swap partisjon som en ext4 filsystem ofte forårsaket kjernepanikk under installasjoner.
• Base: lagt ksdevice = bootif til alle PXE boot mål. Dette forbedrer installasjonshastigheten ved å gjenbruke IP-adressen / grensesnitt informasjon når en node PXE støvler. Tidligere ville en node re-skanne alle Ethernet-grensesnitt.
• Base: når en node XML fil har en syntaksfeil, & quot; steiner liste vert profilen & quot; skriver ut navnet på noden XML-filen og linjenummeret der syntaksen feilen oppstod.
• Base: & quot; steiner kjører vert & quot; nå gyter flere parallelle tråder når flere verter leveres. Også lagt følgende parametre:. Timeout (! Takk Tim Carlson), delay, statistikk, sammenstille og tall-tråder
• Base: yum standardkonfigurasjonen endret for å binde seg til frontend offentlige IP i stedet for private. Dette muliggjør enkel pakke installasjon for eksterne noder (f.eks noder som kjører på en offentlig sky).
• Base:. Ikke-eksisterende attributter anses å være falske conditionals når du bygger konfigurasjonsfiler
• Base: & quot; forut & quot; Metoden lagt for Rocks kommandoen plugins aktivere finkornet bestilling av plugin henrettelse.
• Base: nettverksgrensesnitt under Linux støtte to nye konkrete moduser: & quot; dhcp & quot; og & quot; noreport & quot ;. & Quot; dhcp & quot; modus angir at grensesnittet skal alltid DHCP for å få sin adresse. & Quot; noreport & quot; modus presiserer at ingen & quot; ifcfg - * & quot; Filen skal være skrevet for grensesnittet. Hvis en modus ikke er angitt for et grensesnitt, så Rocks vil skape en & quot; ifcfg - * & quot; fil for grensesnittet basert på verdier som ligger i databasen (akkurat som det gjorde i den forrige utgaven).
• Base: IPMI nå bruker grensesnittet kanal kolonne i nettverk bordet for å spesifisere baseboard kontrolleren kanalnummer
.
• Base: teksten i & quot; changelog & quot; tags er nå pakket i CDATA å tillate XML escape-tegn. Dette støttes bare for node XML-filer innenfor Rolls (ikke for node XML-filer finnes under / eksport / steiner / installere / site-profiler.
• Base: ruller kan bygges uten en fullstendig kopi av Rocks kildekoden. De bruker Rocks utviklingsmiljø funnet under / opt / steiner / share / devel på en frontend.
• Area51. Snubletråd oppdatert til v2.4.2
• Bio:. Uthvilt CPAN moduler
• Bio:. Uthvilt CPAN MPI-Blast
• Bio:. Lagt Celera Whole Genome Sequence Assembler
• Condor.: Oppdatert til v7.4.4
• Condor: automatisert Condor konfigurasjon helt retooled: 1) konfigurasjonen er Rocks kommandoen basert i stedet for frittstående CondorConf verktøy, 2) den støtter dynamisk oppdatering av noen / alle konfigurasjoner på noder, 3) den bruker Rocks kommandoen plugins for å tillate ytterligere automatisert condor config (f.eks via plugin, kan det slå på MPI støtte).
• Condor. Støtter et basseng passord (delt hemmelighet) for ytterligere vert verifisering
• Condor:. Integreres med EC2 roll å forlenge Condor bassenger med EC2 Hosts
• Condor: støtte lagt til portområder for å forenkle brannmurkonfigurasjonen
.
• Condor: lokal kopi av Condor er manpages lagt til rulle dokumenter
.
• Condor:. Støtte for oppdatering Condor på noder uten re-installasjon (f.eks steiner kjøre vert & quot; yum oppdatering condor & quot;, steiner sync vert condor)
• ganglia. Skjerm-core oppdatert til v3.1.7
• ganglia. Rrdtool oppdatert til v1.4.4
• ganglia. Ganglia Roll kan nå legges on-the-fly til en eksisterende frontend
• ganglia: alle noder sender ut sine metrisk metadata hvert 3. minutt. I det siste, når gmond ble restartet på frontend, det kunne ikke samle beregninger fra nodene fordi det hadde ingen metadata fra nodene (og det gjorde ikke har en måte å be nodene fordi nodene er konfigurert i & quot; døv & quot;. modus)
• HPC. Iozone oppdatert til v3.347
• HPC. Iperf oppdatert til v2.0.5
• HPC. MPICH2 oppdatert til v1.2.1p1
• HPC:. OpenMPI oppdatert til v1.4.3
• HPC: rocks-openmpi er standard MPI og det er konfigurert med MPI-velgeren
.
• SGE:. SGE oppdatert til V62u5
• SGE: noen vert kan konfigureres til å være en henrettelse verten ved å sette vertens & quot; exec_host & quot; og & quot; sge & quot; attributter til sann og noen vert kan bli en innlevering vert ved å sette vertens & quot; submit_host & quot; og & quot; sge & quot; attributter til sann.
• Web-serveren. Mediawiki oppdatert til v1.16.0
• Web-serveren. Wordpress oppdatert til v3.0.1
• Xen: enhver node kan hvor verts Xen virtuelle maskiner. Dette styres med & quot; xen & quot; attributt.
• Xen: sette kraft for alle noder i en virtuell klynge (unntatt VM frontend) med én kommando (& quot; steiner satt klynge makt ... & quot;). Strøminnstillinger kan være & quot; & quot ;, & quot; av & quot; eller & quot; installere & quot; (Slå på og tvinge installasjon).
• Xen: tillate virtuelle maskiner for å definere VLAN tagget grensesnitt. Tidligere VLAN tagging ble kun støttet for fysiske grensesnitt.
• feilrettinger:
• Base: non-root brukere kan ikke lenger se de krypterte passord med 'steiner liste vert attr ". Hashet passord er nå lagret i en "skygge-kolonnen i attributt tabellene.
• Base: & quot;% & quot; i & quot; steiner kjøre vert% & quot; returnerer nå alle verter. Takk til Tom Rockwell for reparasjonen.
• Base: Hvis en ethernet svitsj sender ut en DHCP-forespørsel, DHCP-serveren ikke lenger sender den & quot; filnavn & quot; og & quot; neste server & quot; i DHCP respons. Dette førte til at noen bytter ikke til skikkelig laste sin firmware. Mer generelt er dette kontrollert av & quot; kickstartable & quot ;, & quot; dhcp_filename & quot; og & quot; dhcp_nextserver & quot; attributter.
• Base: & quot; steiner satt passord & quot; ber brukeren om å bekrefte sin nye passordet.
• Base: når en node ber om en kickstart fil og hvis frontend bestemmer at frontend er også & quot; opptatt & quot ;, nå gjør kickstarting node riktig en tilfeldig tilbaketreknings før re-ber sin kickstart fil. Før denne reparasjonen, vil en node treknings i 30 sekunder.
• Base:. Flere conditionals kan nå være til stede i XML-koder
• Base: fikset en graf traversering problem. I det siste, hvis du hadde grafen & quot; en & quot; (Dirigent) til & quot; b & quot; til & quot; c & quot; og hvis & quot; dirigent & quot; var falsk, ville grafen traversering inkluderer & quot; en & quot; og & quot; c & quot ;. Nå er det bare inkluderer & quot; en & quot;.
• Base: tillatelser satt i & quot; fil & quot; tag er bevart selv om det er andre & quot; fil & quot; koder for samme fil som ikke satt filens tillatelser. Feilen var da en senere & quot; fil & quot; tag uten en & quot; perms & quot; attributt ble påtruffet, filens tillatelser ble slettet.
• Base: & quot; fil & quot; tags støtter nå & quot; os & quot; conditionals.
• Base: i insert-etere, hvitevarer som er merket & quot; ikke kickstartable & quot; trenger ikke å vente på en kickstart fil. I det siste, man måtte trykke & quot; F9 & quot; (Force slutte) tast for å avslutte insert-etere da oppdager ikke kickstartable apparater (f.eks Ethernet-svitsjer).
• Base: IPMI konfigurasjon ryddet opp. Rocks ikke lenger genererer feiloppføringer i modprobe.conf eller / etc / sysconfig / ifcfg-IPMI.
• Base: Den & quot; pre & quot; tag støtter nå & quot; tolk = & quot; attributt.
• Bio: eliminert & quot; Permission Denied & quot; feil under flere kjøringer på samme BLAST database av ulike brukere.
• SGE: gjort jobben samlingen metriske mer effektiv. Tidligere, da 100 er av jobber sendes til en frontend køen, ville SGE metriske ta så lang tid å gjennomføre, det forårsaket gmond å slutte å samle beregninger for alle verter.
• SGE: antall CPUer matrise jobber forbruker er nå riktig telles
.