Scrapy

scrapy er et høyt nivå web krypende og skraping rammeverk for å skrive edderkopper å gjennomgå og analysere websider for alle typer formål, fra innhenting av informasjon til overvåking eller testing nettsider.

Egenskaper :

• Enkelt:
• scrapy er designet med enkelhet i tankene, ved å gi de funksjonene du trenger uten å komme i veien


• Produktiv:
• Bare skrive reglene for å trekke ut data fra nettsider og la scrapy kontinuerlig gjennom hele nettstedet for deg


• Rask:
• scrapy brukes i produksjons crawlere å fullstendig skrape mer enn 500 forhandlerwebområder daglig, alt i én server


• Extensible:
• scrapy er designet med utvidelsesmuligheter i tankene, og slik at det gir flere mekanismer for å koble ny kode uten å berøre rammen kjerne


• Portable:
• scrapy kjører på Linux, Windows, Mac og BSD


• Open Source og 100% Python:
• scrapy er helt skrevet i Python, som gjør det svært lett å hacke


• Godt testet:
• scrapy har en omfattende test suite med meget god kode dekning

Krav :

• Python