reppy 0.1.0
reppy startet av mangel på memoization støtte i andre robots.txt parsere oppstått, og mangelen på støtte for Crawl-forsinkelse og kart i den innebygde robotparser. matchende Denne pakken støtter 1996 RFC, samt ytterligere vanligste implementert...
