pynav

pynav er en Python programma nettleser for å hente data og test nettsider.
Feilrapportering og funksjoner som spør er velkomne: http://bitbucket.org/sloft/pynav/issues/?status=new&status=open
Eksempler
Innlegg autentisering, bilder og filer nedlasting med enkelt filter eller vanlig uttrykk:
& Nbsp;
fra pynav import Pynav
def test1 ():
& Nbsp; p = Pynav ()
& Nbsp; p.go ('http://www.example.com/connexion', {'login': 'Toto', 'pass': 'Toto'})
& Nbsp;
& Nbsp; hvis p.find ('Min profil'):
& Nbsp; skrive ut "koblet inn i profilen området '
& Nbsp; p.go ('http://www.example.com/photos/')
& Nbsp; for bilde i p.get_all_images ('. Png'):
& Nbsp; p.download (image, '/ tmp / bilder /')
& Nbsp; for link i n.get_all_links ('.?. Download_part * zip'):
& Nbsp; p.download (link)
Ved hjelp av HTTP Basic-godkjenning, post autentisering og cookie sjekk:
def test2 ():
& Nbsp; p = Pynav (timeout = 5)
& Nbsp; p.auto_referer = True
& Nbsp; p.set_http_auth ('http://example.com', 'login', 'pass')
& Nbsp; p.go ('http://example.com/private/')
& Nbsp; p.go ('http://www.example.com/private/connexion', {'login': 'Toto', 'pass': 'Toto'})
& Nbsp; hvis p.cookie_exists ('id'):
& Nbsp; print 'Connected
& Nbsp; p.set_page_delay (2, 4)
& Nbsp; for link i p.get_all_links ("nyheter"):
& Nbsp; print lenke
& Nbsp; p.go (link)
& Nbsp; for side i p.history:
& Nbsp; print siden ['url'] ':', siden ['innlegg']
Ved hjelp av proxy:
& Nbsp;
def test3 ():
& Nbsp; p = Pynav (timeout = 6, proxy = 'http: //www.example.com: 3128 /')
& Nbsp; p.verbose = True
& Nbsp; p.referer = 'http://www.example.com'
& Nbsp; page = p.go ('http://www.example.com/tracks')
& Nbsp; print p.strip_tags (side)

Egenskaper

• Post-godkjenning
• Brukeragent støtte
• Automatisk cookie håndtering
• HTTP Basic Authentication støtte
• HTTPS støtte
• Proxy støtte
• support Timeout
• Reg exp søking
• Lenker henting med reg exp filter
• History (sider, innlegg og svar)
• Lagre og laste historie fra en fil og replay navigasjon
• Random søvntid beetween sider
• Feil håndtering
• Dokumenttype og server overskrifter informasjon, real url (i tilfelle omdirigering)

Krav

• Python