robots.js 0.9.4

Kan brukes til å trekke ut data fra robots.txt-filen og mate den til andre applikasjoner eller statistikkverktøy.Vil trekke målwebadressen, grunnen for tilgang og statusdata Hva er nytt i denne utgaven. Håndterer http (s ) forespørsels feil. ...
Nylig viste programvare