PHPCrawl

Kan brukes skriftlig søkesøkeprogrammer (edderkopper) at mine websider for diverse informasjon.
PHPCrawl kjøper informasjon det ble konfigurert til å hente og sender den til mer kraftige apps for videre behandling

Egenskaper .

• Filtre for URL og Content-Type data
• Definer måter å håndtere cookies
• Definer måter å håndtere robots.txt-filer
• begrense sin aktivitet på ulike måter
• Multi-prosessering modi

Hva er nytt i denne utgaven:

• Faste bugs:
• Lenker som er delvis urlencoded og delvis ikke får gjenoppbygge / kodet riktig nå.
• Fjernet en unødvendig debug var_dump () fra PHPCrawlerRobotsTxtParser.class.php
• Server-navn-indikasjon i TLS / SSL fungerer riktig nå.
• & quot; base href & quot;. -tags I bli tolket riktig nå igjen nettstedene

Hva er nytt i versjon 0.80 beta:

• Code ble helt refactored, portet til PHP5-OO- kode og mye kode ble omskrevet.
• Lagt til muligheten til å bruke bruke flere prosesser å edderkopp et nettsted. Metode & quot; goMultiProcessed () & quot; lagt til.
• Ny overridable metoden & quot; initChildProcess () & quot; lagt for å initiere barn-prosesser ved bruk av crawler i multi-prosess-modus.
• tiltak for et alternativ, intern SQLite caching-mekanisme for nettadresser som gjør det mulig å edderkopp svært store nettsteder.
• Metode & quot; setUrlCacheType () & quot; lagt til.
• Ny metode setWorkingDirectory () lagt til for å definere plasseringen av robotene midlertidig arbeids-katalogen manuelt. Derfor metoden & quot; setTmpFile () & quot; er merket som foreldet (har ingen funksjon lenger).
• Ny metode & quot; addContentTypeReceiveRule () & quot; erstatter den gamle metoden & quot; addReceiveContentType () & quot;.
• Funksjonen & quot; addReceiveContentType () & quot; fortsatt er til stede, men ble merket som foreldet.

Krav :

• PHP 5 eller høyere
• PHP med OpenSSL støtte