WebGraph

WebGraph er et rammeverk for å studere web grafen. WebGraph gir enkle måter å håndtere svært store grafer, utnytter moderne komprimeringsteknikker. Mer presist, er det i dag laget av:
1. Et sett av flate koder, kalt koder, som er særlig egnet for lagring av web-grafer (eller, generelt, heltall med kraft-loven fordeling i en viss eksponent område). Det faktum at disse kodene fungerer godt kan lett testes empirisk, men vi også prøve å gi en detaljert matematisk analyse.
2. Algoritmer for komprimering web grafer som utnytter gap komprimering og referentiation (la LINK), intervalisation og koder for å gi en høy komprimering: for eksempel er WebBase grafen (2001 crawl) komprimert på 3,08 bits per link, og et øyeblikksbilde på ca 18.5 millioner sider av .uk domenet ufarlig UbiCrawler er komprimert på 2,22 bits per link (tilsvarende tall for de tolkede grafer er 2,89 bits per linken og 1,98 bits per link). Algoritmene er styrt av flere parametere, som gir forskjellige kompromisser mellom tilgangshastigheten og kompresjonsforhold.
3. Algoritmer for å få tilgang til en komprimert graf uten egentlig å dekomprimere den, ved hjelp late teknikker som forsinker dekompresjon før den faktisk er nødvendig.
4. En fullstendig dokumentert gjennomføring av algoritmene ovenfor i Java, som inneholdes i pakken it.unimi.dsi.webgraph. Foruten en klart definert API, inneholder pakken flere klasser som tillater å endre (f.eks transponere) eller rekomprimere en graf, så å eksperimentere med forskjellige innstillinger. Pakken er avhengig fastutil for en typespesifikk, høy ytelse samlinger rammeverk, på MG4J for bit-nivå I / O, på COLT fordelingen for klare til bruk, effektive algoritmer og på GNU getopt for line-kommando parsing.
5. Datasettene for meget stor graf (for eksempel en milliard av lenker). Disse er enten hentet fra offentlige kilder (som WebBase), eller produsert av UbiCrawler.
Til slutt, med WebGraph kan du få tilgang til og analysere et veldig stort web graf, selv på en PC med så lite som 256 MB RAM. Ved hjelp WebGraph er like enkelt som å installere noen jar filer og laste ned et datasett. Dette gjør studere fenomener som Pagerank, fordeling av graf egenskaper av web grafen, etc. veldig lett

Hva er nytt i denne utgaven:.

• Denne versjonen legger til flere forbedringer til HyperANF, og noen feilrettinger.
• WebGraph kan nå bli funnet på Maven Central.

Hva er nytt i versjon 2.4.5:

• Denne versjonen inneholder en implementering av HyperANF, en ny svært skalerbar algoritme for beregning av nabolaget funksjon av en graf, og metoder som beregne gjennomsnittlig korteste veien og andre avledet data fra nabolaget funksjon.
• Dessuten et vell av statistiske data er nå beregnet under kompresjon.

Hva er nytt i versjon 2.4.4:.

• Noen gamle alternativer har blitt fjernet
• Eiendommen filene inneholder nå et vell av nyttige statistikk.
• Random tilgang hastighet har blitt forbedret.

Hva er nytt i versjon 2.4.3:

• Faste ArrayListMutableGraph.addNodes () (takk til Erik Lumer for å finne og fikse denne feilen).
• Nye alternativer å skifte utgangen av ASCII-grafer.
• RemappedImmutableGraph.successorArray (x) var å gi den samme array på hver samtale, og dermed gjør de arvet etterfølgere (x) metoden ubrukelig til å skanne i parallelle forskjellige lister. Fast (nå den returnerer en kopi av tabellen, i stedet).
• Ny tilfeldig transformasjon som permuterer tilfeldig en graf.

Hva er nytt i versjon 2.4.2:

• En ny & quot; komponere & quot; konstruere gjør det mulig å komponere (arc-merket) grafer.