Best Flere moduler For Eugene Kalinin

Kan brukes til å trekke ut data fra robots.txt-filen og mate den til andre applikasjoner eller statistikkverktøy.Vil trekke målwebadressen, grunnen for tilgang og statusdata Hva er nytt i denne utgaven. Håndterer http (s ) forespørsels feil. ...