Spidr

Skriptet kan kjøres på en enkelt side, nettside, flere domener eller non-stop.
Spidr er designet for å være rask og enkel å bruke

Egenskaper .

• Gjenopprett spidering køen og historie fra en tidligere sesjon .
• Custom User-Agent strenger.
• Custom proxy-innstillinger.
• HTTPS-støtte.


• følger:
• noen tagger.
• iframe-koder.
• ramme tags.
• Cookie beskyttet lenker.
• HTTP 300, 301, 302, 303 og 307 viderekoblinger.
• Meta-Refresh Omdirigeringer.
• HTTP Basic Auth beskyttet lenker.


• Black-liste eller hvit-liste webadresser basert på:
• URL ordningen.
• Vertsnavn
• Port nummer
• Full lenke
• URL forlengelse


• Gir call-backs for:
• Hver besøkt siden.
• Hver besøkte URL.
• Hver besøkte URL som samsvarer med et spesifisert mønster.
• Hver opprinnelse og destinasjon URI av en lenke.
• Hver URL som ikke klarte å bli besøkt.


• Gir handling metoder til:
• Pause spidering.
• Gå behandling av sider.
• Gå behandling av lenker.

Hva er nytt i denne versjonen:

• Catch OpenSSL :: SSL :: SSLError unntak når initiert HTTPS Sessions.