Bioinformatikk Benchmark System er et forsøk på å bygge en rimelig testing rammeverk, tester og data, slik at sluttbrukere og leverandører for å undersøke resultatene av deres systemer.
Det vi prøver å gjøre er å lage et rammeverk for testing, og en kjerne sett av tester som alle kan laste ned og bruke til å undersøke bestemte elementer av systemer ytelse.
Videre kilden til disse testene er tilgjengelig under GPL, og er vert på Bioinformatics.org og Scalable informatikk LLC Ideen er å gi sluttbrukere, forbrukere, systemutviklere og andre for enkelt å bygge og bruke meningsfulle tester for måling og tuning grunner .
Joe Landman fra Scalable informatikk LLC unnfanget ideen og skrev de opprinnelige koder. Vi er på jakt etter flere referansekode forslag, tester, datasett, etc.
Nåværende grunntestene er flere NCBI BLAST går, flere HMMer går, og en rekke andre. Vi planlegger å inkludere ClustalW, Tandem X!, Diverse kjemi, dynamikk, og relaterte tester, samt flere andre.
Tester som Linpack eller HPL rett og slett ikke gi meningsfylte ytelsesindikatorer eller prediktive modeller for høy ytelse informatikk. Dessverre, og heller gjøre en rekke nyere og fokuserte tester.
Dette er et problem som Linpack og HPL spesifikt teste ytelsen på ulike matriseoperasjoner, hvor du har effektivt vanlige minnetilgangs mønstre, og bestemte matematiske operasjoner.
Disse kodene er mest nyttig for sammenligning med koder med tunge flyttallsoperasjoner, og innfelt minne trafikk. Disse kodene ble ikke laget for omfattende systemer benchmarking, der disk I / O, minne ventetid, og andre faktorer bidrar til ytelsesproblemer.
De beste testene er de som er mest lik de koder som vil kjøre på maskinen. Testene selv bør være en rimelig tilnærming til en reell gjennomføring av koden din, ved hjelp av reelle data. Du må kanskje pare den tilbake for å få realistiske kjøretider.
Du bør ha en rimelig undergruppe av datastørrelser. En enkel test ikke fortelle deg hvordan systemet skalaer, og en av årsakene til eksistensen av denne testen er spesielt for å tillate deg å teste ytelsen mens du øker ulike aspekter av arbeidsmengden.
Du får sjelden en hvilende system i en klynge, så vi vil anbefale at du prøver å kjøre i så realistiske et driftsmiljø som mulig. En baseline i et stillestående system er greit, men det kan sette dine forventninger urimelig.
top
Kommentarer ikke funnet