Condor

Condor er nå påvirket av både de teknologiske og sosiologiske utfordringene i et slikt datamiljø,
Condor Team har vært å bygge fantastiske verktøy som gjør at forskere og ingeniører til å øke sin databehandling gjennomstrømming

Hva er nytt i denne utgaven:.

< li> 7.6.X er den nye stabile Condor serien.
• Mange nye funksjoner ble lagt til siden 7.4.X.

Hva er nytt i versjon 7.3.2:

• versjonsmerknader:
• Formatet på produksjonen fra condor_status med -grid alternativet har blitt endret for å gi mer nyttig informasjon.
• Fjernet linjeskift lagt til på slutten av condor_status -format utgang. Derfor bør kode som analyserer resultatet av denne kommandoen nå være forsiktig når du klipper den siste linjen.
• Nye funksjoner:
• condor_fetchlog kan nå hente historie filer av en condor_schedd daemon. Og, kan historikken beholdes av condor_schedd daemon nå roteres daglig eller månedlig.
• condor_ckpt_server vil automatisk rydde opp bedervet sjekkpunkt filer. Konfigurasjonsvariabler som styrer denne oppførselen er beskrevet nedenfor.
• condor_ckpt_server (enten 32-bit eller 64-bit) kjørbar vil nå kommunisere riktig mellom 32-bit og 64-bit sende noder. Hvis av noen sjanse bit oppstår bredde problemstillinger i sjekkpunkt protokoll (for eksempel med filstørrelser), er klare feilmeldinger logget inn checkpoint serverlogger.
• Den nye condor_ssh_to_job verktøyet lar interaktiv debugging av kjører arbeidsplasser. Se håndboken side ved [*] for detaljer.
• condor_status kommando nå vesentlig raskere, spesielt med -format alternativet.
• Grid universet gittertype GT5 har blitt lagt for innsending til den nye Globus GRAM5 tjeneste. Når en GRAM tjeneste identifiseres som GT5, jobmanager struping og Grid Monitor brukes ikke. Se avsnitt 5.3.2 for detaljer.
• Grid universet grid typen krem ​​har blitt lagt for innsending til CREAM jobb tjeneste gLite. Se avsnitt 5.3.8 for detaljer.
• Når lavt på fildeskriptorer for å skape nye nettverkskontakter, den condor_schedd daemon unngår nå ubegrenset stabling opp av meldinger som den sender med jevne mellomrom til condor_negotiator og condor_startd.
• Ytelsen og svikt håndtering av Grid Monitor har blitt forbedret.
• For gittertype NorduGrid i nettet universet, er jobbstatus nå fått hjelp NorduGrid ARC LDAP-server, noe som bør gi betraktelig bedre ytelse. Dessuten kan Condor nå fortelle når disse jobbene er i gang.
• Den nye -valgrind alternativ til condor_submit_dag årsaker condor_submit_dag å generere en sende inn beskrivelse fil som bruker Valgrind på condor_dagman, i stedet for den condor_dagman binære som sin kjørbar.
• condor_dagman nå dovent evaluerer og åpner node jobb loggfiler. I stedet for parsing alle sende inn beskrivelse filer og umiddelbart åpne sine spesifiserte loggfiler ved oppstart, analyserer condor_dagman nå på send beskrivelsesfiler rett før hver jobb er sendt inn, og har hver loggfil åpen kun når relevante jobber som er i køen eller utfører POST skript . I tillegg condor_dagman nå genererer automatisk en standard bruker loggfil for enhver node jobb som ikke angir en.
• Både støtte og dokumentasjon for MPI universet har blitt fjernet. MPI programmer støttes gjennom bruk av det parallelle universet.
• Når condor_startd daemon test av virtuell maskin programvare mislykkes (for maskiner konfigurert som kan kjøre virtuelle maskiner), vil condor_startd periodisk forsøke testen før det lykkes.
• nordugrid_gahp begrenser nå antallet tilkoblinger til hver NorduGrid ARC server og gjenbruker tilkoblinger når det er mulig.
• Lagt ClassAd funksjonen eval (), som tar en streng argument og vurderer innholdet i strengen som en ClassAd uttrykk. En politikk eksempel hvor dette er nyttig er beskrevet i kapittel 3.5.9 på jobb suspensjon.
• Den nye condor_q alternativet -attributes begrenser attributtene som vises når du bruker -xml eller -Lang alternativer. Begrense antall attributter øker også effektiviteten av spørringen.
• Condor strømsparingsfunksjoner er nå implementert som en plug-in. Spesielt condor_startd nå kjører et eksternt program, som angitt av konfigurasjon variabel HIBERNATION_PLUGIN, for å utføre påvisning av tilgjengelige lavstrømtilstander og bytte til disse lavstrømtilstander.
• Den nye Condor daemon condor_rooster har blitt lagt til å våkne opp dvale maskiner når uttrykket er definert av konfigurasjonen variabel UNHIBERNATE blir sann. Konfigurasjonsvariablene knyttet til condor_rooster er beskrevet i punkt 3.3.35.
• Lagt til muligheten til å trekke ut informasjon fra brukeren hendelsesloggen leserens state buffer til brukeren logge leseren. Dette er implementert gjennom en ny ReadUserLogStateAccess C ++ klasse som definert i read_user_log.h.
• Endringer i verdien av konfigurasjonen variabel CERTIFICATE_MAPFILE eller innholdet av filen som den refererer ikke lenger kreve en full restart av Condor. I stedet vil kommandoen condor_reconfig føre til endringer for å bli utnyttet.
• condor_master daemon vil nå skrive ut banen og argumenter til eventuelle daemons det starter, hvis D_FULLDEBUG er aktivert. Tidligere var det ingen måte å få den til å vise argumentene som det ble å starte en daemon.
• condor_had nissen har nå muligheten til å kontrollere andre enn condor_negotiator demoner. Dette styres via HAD_CONTROLLEE makro.
• Condor gjenkjenner nå VOMS utvidelser i X.509 fullmakter. De VOMS attributter er kodet i jobben ClassAd attributt X509UserProxySubject.
• condor_startd kan nå rydde opp strandet virtuelle maskiner, etter en krasj av Condor eller dens vertsoperativsystemet.
• Etter en krasj, det condor_gridmanager ikke lenger starter alle de jobmanagers for GT2 jobber. Dette bør øke utvinningen tid.
• Condor fungerer bedre med ClassAds kategorisert som generisk i condor_collector daemon. Ulike daemons som registrerer seg med generiske ClassAds kan nå ha verktøy som bruker -subsystem alternativ manipulere sine ClassAds riktig.
• Condor gir nå en mekanisme for å håndheve en streng ressurs begrensende for noen universer for kjørende jobber.
• Konfigurering Variable tillegg og endringer:
• Den nye konfigurasjonen variabel EMAIL_SIGNATURE angir en tilpasset signatur som skal legges til e-post sendt av Condor system. Hvis definert, så denne skikken signatur erstatter standard som er spesifisert internt. Det er ingen standardverdien for denne variabelen.
• Den nye konfigurasjonen variabel CKPT_SERVER_CLIENT_TIMEOUT informerer condor_schedd hvor lang tid i sekunder det er villig til å vente med å prøve og snakke med en condor_ckpt_server prosess før erklære en condor_ckpt_server ned. Se punkt 3.3.11 for en fullstendig beskrivelse.
• Den nye konfigurasjonen variabel CKPT_SERVER_CLIENT_TIMEOUT_RETRY informerer condor_schedd at når en condor_ckpt_server er blitt merket som ned, hvordan kan sekunder må passere før condor_schedd vil prøve og kommunisere med condor_ckpt_server igjen. Se punkt 3.3.11 for en fullstendig beskrivelse.
• Den nye konfigurasjonen variabel CKPT_SERVER_REMOVE_STALE_CKPT_INTERVAL informerer condor_ckpt_server å begynne fjerning av gammel sjekkpunkter på angitt intervall i sekunder. Se avsnitt 3.3.8 for en fullstendig beskrivelse.
• Den nye konfigurasjonen variabel CKPT_SERVER_STALE_CKPT_AGE_CUTOFF informerer condor_ckpt_server hvor gammel en sjekkpunkt fil tilgangstiden må være for å bli ansett som foreldet. Denne gangen er sammenlignet mot strømmen oppfatningen av nå når sjekkpunkt serveren sjekker sjekkpunkt bildefil. Se avsnitt 3.3.8 for en fullstendig beskrivelse.
• Den nye konfigurasjonen variabel SlotWeight kan brukes til å gi en slot større vekt ved beregning bruk, databehandling rettferdig aksjer, og håndheve gruppekvoter. Se 3.3.10 for en fullstendig beskrivelse.
• Den nye konfigurasjonen variabel MAX_PERIODIC_EXPR_INTERVAL implementerer et tak på tiden mellom evaluering av periodiske uttrykk, på grunn av den adaptive timing implisert av konfigurasjonen variabel PERIODIC_EXPR_TIMESLICE. Se 3.3.11 for en fullstendig beskrivelse.
• Den nye konfigurasjonen variabel GRIDMANAGER_SELECTION_EXPR kan brukes til å kontrollere hvor mange condor_gridmanager prosesser vil bli gytt å administrere grid universet jobber. Som en del av denne endringen, fjernet konfigurasjonen variabel og støtte kode for GRIDMANAGER_PER_JOB siden den nye konfigurasjonen variabel erstatter det. Se 3.3.11 for en fullstendig beskrivelse.
• Konfigurasjonen variabel GRIDMANAGER_MAX_PENDING_SUBMITS_PER_RESOURCE og de tilsvarende strupe GRIDMANAGER_MAX_PENDING_SUBMITS har blitt fjernet.
• De nye konfigurasjonsvariabel GRID_MONITOR_DISABLE_TIME kontrollerer hvor lenge condor_gridmanager vil vente etter møter en feil før du forsøker å starte et Grid Monitor jobb. Se 3.3.23 for en fullstendig beskrivelse.
• Den nye forhåndsdefinert konfigurasjon makro DETECTED_MEMORY indikerer mengden av fysisk minne (RAM) oppdaget av Condor. Verdien er gitt i MB.
• De nye forhåndsdefinerte konfigurasjonsmakro DETECTED_CORES angir antall CPU-kjerner oppdages av Condor.
• De nye konfigurasjons variable DELEGATE_FULL_JOB_GSI_CREDENTIALS kontrollerer om en full eller begrenset X.509 proxy er delegert for grid typen GT2 grid universet jobber. Se 3.3.26 for en fullstendig beskrivelse.
• Den nye konfigurasjonen variabel UNHIBERNATE brukes av condor_startd å annonsere i sin ClassAd en boolsk uttrykk som angir når maskinen skal bli vekket opp, for eksempel ved condor_rooster. Se 3.3.10 for en fullstendig beskrivelse.
• Den nye konfigurasjonen variabel HIBERNATION_PLUGIN angir banen til plug-in som condor_startd bruker både å oppdage de lave strøm statlige egenskapene til en maskin og for å slå av maskinen til en lav strømtilstand. Se 3.3.10 for en fullstendig beskrivelse.
• Den nye konfigurasjonen variabel HIBERNATION_PLUGIN_ARGS spesifiserer flere kommandolinjeargumenter som condor_startd vil passere til plug-in når påkalle det å slå av maskinen til en lav strømtilstand. Se 3.3.10 for en fullstendig beskrivelse.
• Den nye konfigurasjonen variabel HIBERNATION_OVERRIDE_WOL kan brukes til å dirigere condor_startd å ignorere Wake on LAN (WOL) egenskapene til maskinens nettverksgrensesnitt, og å bytte til en lav strømtilstand selv om grensesnittet ikke støtter WOL, eller hvis WOL er deaktivert på det. Se 3.3.10 for en fullstendig beskrivelse.
• De nye konfigurasjons variable DAGMAN_USER_LOG_SCAN_INTERVAL kontrollerer hvor lenge condor_dagman venter mellom sjekker jobbloggfiler for statusoppdateringer. Se 3.3.25 for en fullstendig beskrivelse.
• Den nye konfigurasjonen variabel DAGMAN_DEFAULT_NODE_LOG setter standard loggfil navn på den nye condor_dagman standard node loggfil funksjonen. Se 3.3.25 for en fullstendig beskrivelse.
• Fjernet konfigurasjons variable DAGMAN_DELETE_OLD_LOGS; ny loggfil lesekoden gjør det foreldet.
• Den nye konfigurasjonen variabel HAD_CONTROLLEE brukes til å angi navnet på nissen der condor_had kontroller. Dette navnet bør samsvare med daemon navn i condor_master sin DAEMON_LIST.
• Bugs Fast:
• Fikset en bug i ClassAd funksjoner der argumenter som skulle ha vært riktig tvunget til strenger i stedet vurderes å FEIL.
• Fikset en forvirrende diagnosemelding med JobRouter, som skjedde da en jobb ble fjernet i løpet av 5 minutter for å bli sendt inn.
• Fikset en feil som gjør bruk av dynamiske spilleautomater (se kapittel 3.13.7) forårsaket maskinen ClassAd attributt SLOT_STARTD_ATTRS å forsvinne fra ClassAd for noen spor.
• Fikset en Windows-plattform bug der vinduet hører til en Condor jobb ikke mottar en maling melding.
• Fikset en bug som forårsaker condor_q -analyze å krasje når det var ingen condor_schedd daemon ClassAd fil.
• Fikset en condor_procd krasj forårsaket når miljøet i en overvåket prosess skredet 1 MB / proc.
• Fikset en Windows-plattform bug som kan føre til at condor_credd å krasje hvis en forespurt påloggings er ikke i passord butikken.
• Fikset en bug som var årsak til jobben hendelsesloggen rotasjonslås å bli skapt med ugyldige tillatelser.
• Fikset en bug i rotasjon av jobben hendelseslogg som kan føre til at det aldri skal roteres i Windows-porten på Condor.
• Fikset en potensiell rase tilstand i jobben hendelsesloggen initialisering.
• Fast rase tilstand som kan føre til krasj av condor_collector og condor_schedd på nedleggelse.
• Fikset en bug hvor condor_master vil noen ganger dø og produsere en dprintf_failure.MASTER fil når enten starte på grunn av nye binære tidsstempler eller når startet i utgangspunktet.
• Fikset en minnelekkasje i forbindelse med SOAP konfigurasjonsvariabler som oppstod da Condor ble omstrukturert.
• Fikset en feil som gjør at den sender beskrivelse fil kommandoen cron_day_of_week ble feilaktig ignorert.
• Fast feil som gjør at konfigurasjonsvariabler MAX_JOB_QUEUE_LOG_ROTATIONS og GRIDMANAGER_SELECTION_EXPR ikke ville fungere ordentlig ved oppstart; de bare jobbet etter en condor_reconfig.
• Fikset en feil som gjør SOAP operasjoner ble feilaktig godkjent med peer IP.
• Fikset en Windows-plattform bug der ikke alle Condor daemons ble klarert av Windows Firewall (tidligere kjent som Internet Connection Firewall eller ICF).
• Fast en nedleggelse race condition i condor_master med hensyn til høy tilgjengelighet demoner.
• Fikset en feil som gjør en Condor daemon feilaktig bestemmes det hadde gått tom for socket beskrivelsene.
• Fikset en bug hvor condor_schedd ville blokkere for svært lange perioder av gangen mens du prøver å koble til en ned sjekkpunkt server. Nå condor_schedd vil gjøre en blokkering kontakt med en timeout til sjekkpunkt server for et konfigurerbart antall sekunder. Hvis connect mislykkes, vil condor_schedd sette et moratorium om tilkobling til sjekkpunkt serveren inntil de konfigurerbare moratorium periode passerer. Konfigurasjonsfilen variabler som beskriver denne atferden er beskrevet ovenfor.
• Endret sjekken som condor_dagman gjør for andre condor_dagman forekomster som kjører den samme DAG, hvis den finner en lås fil ved oppstart. Nå, hvis condor_dagman er ikke sikker på om den andre DAGMan er i live, fortsetter det, i stedet for å avslutte.
• Fikset en stor fil descriptor lekkasje i Stork daemon.
• Fikset en bug hvor vellykkede Stork overføringer ble merket som mislyktes.
• Fikset et uvanlig minnelekkasje i brukerhendelsesloggfilen lesekoden når du leser dårlig formaterte hendelser.
• Fikset en feil som gjør at flere maskiner ClassAds i condor_collector med samme navn, men ulike StartdIPAddr attributtverdier, ville føre til at condor_negotiator å avslutte med en feilmelding. Dette er uvanlig og bør ikke skje i et typisk Condor installasjon. Den mest sannsynlige årsaken er å bruke condor_advertise å annonsere tilpassede ClassAds for grid matchmaking.
• Fikset en bug som forårsaket condor_dagman til kjernen dump hvis alle sender forsøk mislyktes på en DAG node som har en POST script. Denne feilen har eksistert siden Condor versjon 7.1.4.
• Fikset en minnelekkasje i condor_schedd, som skjedde når konfigurasjonen variabel NEGOTIATOR_MATCH_EXPRS ble brukt.
• Fikset en bug i Windows-plattformen kode som behandler skript som kjørbare. Ukjente filtyper ble behandlet som en feil, snarere enn som en Windows kjørbar.
• condor_job_router nå riktig setter ClassAd attributt EnteredCurrentStatus til gjeldende tid når du oppretter en ny rutet jobb. Tidligere kunne man kopiert dette attributtet fra den opprinnelige jobb.
• condor_job_router avgir en mer vennlig loggmelding når det observerer at rutet kopi av jobben ble fjernet.
• En fiks er gjort for et problem sett i 7.3.1 hvor Condor daemons bruker CCB å koble til andre Condor daemons vil noen ganger bruker store mengder CPU tid for ingen god grunn.
• Fast en sjelden svikt tilfelle feil som forsøker å koble til via CCB kunne bo i en ventende tilstand på ubestemt tid.
• En Unix eneste bug forårsaket Condor daemons å mislykkes i å starte hvis MAX_FILE_DESCRIPTORS ble konfigurert høyere enn dagens hard grense arvet av Condor. Hvis Condor kjører som root, er dette ikke lenger tilfelle.
• condor_gridmanager annonserer nå grid ClassAds ordentlig når det er flere condor_collector demoner.
• Når du bruker condor_q -xml og -format sammen for å begrense antall ClassAd attributter returneres i spørringen, XML container koden ble ikke generert. Dette er fast, men nå den foretrukne måten å begrense de returnerte attributter er å bruke condor_q opsjons -attributes.
• Fikset en bug hvor Unix condor_master mislyktes når du prøver å starte selv, hvis konfigurasjonen variabel MASTER_LOCK ble definert, eller dersom condor_master ble startet med valget -t. Denne feilen har eksistert siden 7.0-serien, og sannsynligvis har eksistert mye lenger enn det.
• Fikset en betydelig minnelekkasje i gahp_server. Denne lekkasjen var bare til stede i tidligere Condor 7.3.x utgivelser.
• Fikset en bug som kan føre til en fjernet jobb som er holdt og deretter sluppet å gå tilbake til hviletilstand.
• De Globus jar filer fordelt med x86-64 RHEL 5 turtall ble skadet, forårsaker GT4 grid typen jobber for å mislykkes. Dette har blitt fikset.

Hva er nytt i versjon 7.2.2:

• Lagt til en hel port av Condor til Debian 5.0 på x86-plattformen.
• Lagt til en avkuttet port av Condor til Debian 5.0 på x86_64 plattformen.
• Lagt -DumpRescue kommandolinjeflagg til condor_dagman og condor_submit_dag. Dette flagget er ment hovedsakelig for testing.
• Lagt til støtte for den -debug alternativ til condor_qedit.
• Jobb Router bruker nå en tid skive timer for periodisk uttrykk evaluering, lik den condor_schedd daemon. Evalueringen intervall styres av konfigurasjonen variabel PERIODIC_EXPR_INTERVAL, og mislighold til 60 sekunder, den samme standardverdien som brukes av condor_schedd nissen.
• Jobb Router tilbakestiller nå kilden jobb, hvis det oppstår en feil ved oppdatering av condor_schedd nisse for en periodisk uttrykk som evalueres til sann. Den jobb periodiske uttrykk bør vurderes igjen noen gang i fremtiden med en vellykket oppdatering.

Hva er nytt i versjon 7.2.0:.

• Store funksjonsforbedringer

Hva er nytt i versjon 7.0.5:

• Denne utgivelsen inneholder mange feilrettinger og noen forbedringer på feil håndtering av Local Universe jobber.
• Vær oppmerksom på at noen av de feilrettinger er sikkerhetsrelatert; derfor områder bør enten oppgradere eller begrense tillatelser på hvem som har lov til å sende inn Condor jobber til erte brukere.