LPBS

LPBS (Local Portable Batch System) er et verktøy for å etterligne PBS på en lokal arbeidsstasjon.
PBS / MOMENT er en jobb planlegging system som brukes på mange tungregneklynger. Den LPBS pakken inneholder verktøy for å kjøre PBS jobb skript på en lokal arbeidsstasjon. Konkret gir LPBS den lqsub kommando som tar de samme alternativene som PBS qsub kommando og kjører en jobb skript lokalt, i et miljø nesten identisk med en som PBS / MOMENT ville gi. Jobben vil kjøre i bakgrunnen og bli tildelt en jobb-ID. I motsetning til PBS-systemet, vil LPBS ikke utføre noen planlegging, men vil bare kjøre jobben sendes til det. LPBS gir ytterligere verktøy for å administrere kjører arbeidsplasser.
Installasjon
LPBS kan installere fra PyPI, ved hjelp
PIP installere LPBS
Alternativt kan pakningen installeres fra kilden med
python setup.py installere
Konfigurasjon
LPBS lagrer alle sine konfigurasjons og runtime data i mappen som er angitt i miljøvariabelen $ LPBS_HOME. Denne miljøvariabelen må defineres. Konfigurasjonen er i filen lpbs.cfg inne $ LPBS_HOME. Hvis denne filen ikke finnes når noen av LPBS skript kjøres, vil en konfigurasjonsfil med følgende standardverdier opprettes:
[Server]
# Full vertsnavn for innsending server (hostname.domain). Vil bli gjort tilgjengelig
# For å kjøre jobb gjennom miljøvariabelen PBS_SERVER. Jobb IDer vil ende
# I serververtsnavn
vertsnavn: localhost
domene: local
[Node]
# Full vertsnavn for henrettelsen node (hostname.domain). Vil bli gjort tilgjengelig
# For å kjøre jobb gjennom miljøvariabelen PBS_O_HOST. Siden LPBS er
# Designet for å utføre jobber lokalt, innstillingene her bør generelt være
# Identiske med de i [Server] seksjonen
vertsnavn: localhost
domene: local
[LPBS]
# Innstilling for jobbutførelse.
# Hvis 'username_in_jobid' er aktivert, vil jobb IDer har formen
# 'Seqnr.user.hostname.domain "hvor" bruker "er brukernavnet til brukeren
# Sender jobben.
# Filen gitt i 'sequence_file' brukes for å holde orden på den "seqnr '
# Vises i jobb-ID.
# Filen gitt i 'logfile' brukes for å logge alle LPBS hendelser. Begge
# 'Sequence_file "og" loggfil "står i forhold til $ LPBS_HOME.
username_in_jobid: 0
sequence_file: sekvens
loggfil: lpbs.log
[Scratch]
# Innstillinger for scratch feltet til jobbene. 'Scratch_root' definerer en
# Sted hvor jobbene skal skrive midlertidige data. Hvis gitt som en relativ bane,
# Det er i forhold til $ LPBS_HOME. Miljøvariabler vil bli utvidet på
# Tid av jobben innsending.
# Hvis verdien av # 'create_jobid_folder' er satt til 1, en mappe med navnet på
# Full jobb-ID er laget inne scratch_root. Denne mappen er automatisk
# Slettet når jobben er slutt, med mindre 'keep_scratch' er satt til 1. Hvis jobben
# Mislyktes, scratch slettes ikke, med mindre 'delete_failed_scratch' er satt
# 1.
scratch_root: $ SCRATCH_ROOT
create_jobid_folder: 0
keep_scratch: 0
delete_failed_scratch: 0
[Melding]
# Innstillinger på hvordan brukeren skal bli varslet om hendelser som starten
# Og slutten av en jobb. Hvis sent_mail er satt til 1, vil e-post sendes til
# varslinger avhengig av verdien av "-m alternativet til lqsub. Om
# 'Send_growl' er satt til 1, er Growl (http://growl.info) som brukes for varsling
# På MacOS X. Påminnelser via Growl tar ikke hensyn til de "-m" alternativer
# Under jobbsending.
send_mail: 0
send_growl: 0
[Mail]
# SMTP-innstillingene for e-postvarsler. Typer e-post vil bli sendt fra
# Adressen oppgitt av den "fra" alternativet. SMTP-server gitt i 'smtp' er
# Brukes til å sende e-post, hvis 'godkjenne' er satt til 1, er autentisering
# Ferdig med den gitte 'brukernavn' og "passord". Dersom 'tls "er en, TLS-kryptering
# Vil bli brukt.
fra: nobody@example.org
smtp: smtp.example.com:587
brukernavn: user
passord: hemmelig
autentisere: 0
tls: 1
[Growl]
# Innstillinger for Growl varsler. Meldinger sendes til enten
# Localhost eller en ekstern vert via GNTP protokollen. Den "hostname 'innstilling
# Gir adressen og porten til Growl-serveren, er det gitt "passord"
# Brukes for autentisering (merk at hvis du sender til localhost, nei
# Autentisering er nødvendig, og passordet bør være tom). Om
# 'Klissete' er satt til 1, vil Growl varslinger være klissete. Det er
# Mulig å sende meldinger til mer enn én vert. I dette tilfellet er begge
# 'Hostname "og" passord "bør være en kommaseparert liste med verdier, med
# Hvert element korresponderer til en vert. F.eks
# Hostname: localhost, remotehost
# Passord, hemmelig
vertsnavn: localhost: 23053
passord:
klissete: 0
[Logg]
# 'Logfile "gir navnet på den sentrale loggfilen, i forhold til $ LPBS_HOME.
loggfil: lpbs.log
Merk at hvis standard config filen brukes, må miljøvariabelen $ SCRATCH_ROOT defineres og katalogen den peker til bør eksistere og være skrivbar for alle brukere som kanskje sender jobber.
For et system-wide installasjon, / var / lpbs er et egnet sted for $ LPBS_HOME. Miljøvariabelen kan settes i /etc/bash.bashrc for alle brukere. For en installasjon i user space, er virtualenv anbefales.
Etter hovedkonfigurasjonsfilen, vil filen $ HOME / .lpbs.cfg også leses. En bruker kan bruke dette til å overstyre innstillingene i systemkonfigurasjonen. Endelig har qsub kommandoen også en --config alternativ som gjør det mulig å spesifisere enda en ekstra config-fil som skal leses.
Bruk
LPBS inneholder skriptene lqsub, lqstat, og lqdel, som emulere PBS / MOMENT kommandoer qsub, qstat, og lqdel hhv. Den lqsub kommandoen brukes til å sende jobber, lqstat brukes til å vise informasjon om hvordan du kjører arbeidsplasser, og lqdel brukes til å avbryte kjører arbeidsplasser. For eksempel:
goerz @ localhost: ~> lqsub job.pbs
3.localhost.local
goerz @ localhost: ~> lqstat
Jobb id navn Bruker Walltime
-------------------- --------------- --------------- ---------------
3.localhost.local pbstest goerz 00:00:22
goerz @ localhost: ~> lqstat -f 3.localhost.local
Jobb Id: 3.localhost.local
& Nbsp; Job_Name = pbstest
& Nbsp; Job_Owner = goerz
& Nbsp; server = localhost.local
& Nbsp; exec_host = localhost.local
& Nbsp; PID = 14649
& Nbsp; Error_Path = STDERR
& Nbsp; Join_Path = True
& Nbsp; Mail_Points = n
& Nbsp; Output_Path = pbstest.out
& Nbsp; resources_used.walltime = 00:00:43
goerz @ localhost: ~> lqdel 3.localhost.local
Den qsub kommandoen er laget for å forstå alle kommandolinje alternativer av qsub kommandoen i MOMENT versjon 2.18, bortsett fra at alle alternativene knyttet til planlegging er stille ignorert. Derfor bør alle PBS jobb script være submittable uten endring. For detaljer, kjøre lqsub, lqstat og lqdel med hjelp alternativet, og / eller se på TORSJONSMOMENT manualen.
Et eksempel Job Script
Det følgende er et eksempel på en enkel PBS jobb skript som vil skrive ut hele miljøet at jobben ser. Det kan være lurt å sende denne jobben både med LPBS og PBS / MOMENT å verifisere at med riktige innstillinger i lpbs.cfg, gir LPBS en identisk miljø som LPBS.
#! / Bin / bash
#PBS N pbstest
#PBS -J Oe
#PBS -l Noder = 1: ppn = 1
#PBS -l Walltime = 00: 00: 10
#PBS -l Mem = 10mb
#PBS -o Pbstest.out
echo "################################################ #### "
echo "User: $ PBS_O_LOGNAME"
echo "Batch jobb startet på $ PBS_O_HOST"
echo "PBS jobb id: $ PBS_JOBID"
echo "PBS jobb name: $ PBS_JOBNAME"
echo "PBS arbeidsmappen: $ PBS_O_WORKDIR"
echo "Job startet på" `hostname`` date`
echo "Current katalogen:" `pwd`
echo "PBS miljø: $ PBS_ENVIRONMENT"
echo "################################################ #### "
echo "################################################ #### "
echo "Full Miljø:"
printenv
echo "################################################ #### "
echo "The Job blir utført på følgende node:"
cat $ {PBS_NODEFILE}
echo "################################################ ########## "
echo "Job Avsluttet:" `date`
exit 0

Krav :

• Python