Apache Nutch

Apache Nutch ble bygget på toppen av Apache Lucene , en kraftig Java søkemotor.
Nutch utviklerne endret Lucene kodebase, endring av data-agnostiker Lucene kodebasen til et prosjekt dedikert for å søke data på nettet spesifikt.
Denne teknologien kan brukes til å søke på dine egne websider som en innebygd søke server, eller gjennom nettet på jakt etter data for å analysere og skrape inn i databasen.
Nutch kan kjøre på en enkelt maskin, men fungerer bedre i Hadoop klynger.
Ulike plugins er tilgjengelig for å utvide sin bruk spekteret

Hva er nytt i denne utgaven:.

• Sørg dupliserte tags ikke eksisterer i mikroformatet-reltag tag sett.
• En bedre falle tilbake verdi for datofeltet.
• Bli kvitt den fryktede.
• Oppgrader til Hadoop 1.2.0.
• Oppgrader til Tika 1.3.

Hva er nytt i versjon 2.0:.

• Omdøpt HTMLParseFilter inn ParseFilter
• Fjern resterende roboter / IP blokkering kode i lib-http.
• Port logging til slf4j.
• Ekstern parser støtter koding attributt.
• innstillinger Ivy konfigurasjons inkluderer ikke Gora.
• Injector bør legge til metadata før du ringer injectedScore.
• Port Nutch benchmark til Nutchbase.
• Legg parse-html tilbake.
• MoreIndexingFilter mangler datoformat.
• Timeout for parser.
• Prøv på nytt intervall i crawl dato er satt til 0.
• Generer loggutdataene for Solr indekserings og dedup.
• Forbedret NutchConfiguration.
• SolrDeleteDuplicates trenger å klone SolrRecord stedene.
• Native Hadoop libs ikke tilgjengelig gjennom maven.
• Skill bygge og kjøremiljøer.

Hva er nytt i versjon 1.5:

• Denne utgivelsen inneholder flere forbedringer, inkludert oppgraderinger av flere store komponenter, inkludert Tika 1.1 og Hadoop 1.0.0, forbedringer LinkRank og WebGraph elementer samt en rekke nye plugins som dekker svartelisting, filtrering og parsing for å nevne noen.

Hva er nytt i versjon 1.4:.

• Lagd Solr 4x (trunk) eksempel skjema
• Lagt '/ runtime "til svn ignorere.
• application / xhtml + xml bør være aktivert i plugin.xml av parse-html; tillate flere mimetyper for plugin.xml.
• Fast parse-tika og analysere-html å bruke relativ URL oppløsning per RFC-3986.
• Oppgradert til Tika 0,10. MERK:. Tika nye RTF parser kan ignorere mer tekst i misdannede dokumenter enn tidligere - se Tika-748 for detaljer
• Lagd Sonar mål til Ant build.xml.
• Oppgradert SolrJ til versjon 3.4.0.
• Ant PMD målet er brutt.
• Oppgradert Solr skjema til versjon 1.4.

Hva er nytt i versjon 1.3:

• Denne utgivelsen inneholder flere forbedringer (forbedret RSS parsing støtte, strammere integrasjon med Apache Tika, ekstern parsing støtte, forbedret språk identifikasjon og en størrelsesorden mindre kilde utgivelsen tarball -. bare om 2 MB)

Hva er nytt i versjon 1.2:.

• Gjør indeks mer plug-in konfigurerbar
• Konfigurerbar fil protokollen foreldrekatalogen gjennomgang.
• Timeout for parser.
• Nettstedet er fortsatt Lucene merket.
• Prøv på nytt intervall i crawl dato er satt til 0.

Hva er nytt i versjon 1.0:.

• Tillat parsere å returnere flere Analyser objekter
• Fjernet overflødig commons-logging krukke fra ontologi plugin.
• Bug i SegmentReader fører uendelig loop.
• Scoring filter bør fordele poengsum til alle outlinks på en gang.
• Reduser antall advarsler i Nutch kjerne.