NaslaanBot

NaslaanBot is de crawler van naslaan.com. Hij zoekt op de websites van fabrikanten naar handleidingen in het Nederlands en haalt het pdf-bestand op.

Hoe hij werkt

Hij volgt robots.txt. Voordat hij iets van een website opvraagt, leest hij daar robots.txt. Wat daarin voor hem verboden is, haalt hij niet op; dat geldt ook voor elke doorverwijzing.
Rustig tempo. Per website doet hij hoogstens één verzoek per twee seconden. Geeft een website een wachttijd op (Retry-After), dan houdt hij zich daaraan.
Wat hij ophaalt. Productpagina's en zoekfuncties van de fabrikant, om de juiste handleiding te vinden, en daarna het pdf-bestand van die handleiding.
Geen omwegen. Hij maakt zich altijd bekend met dezelfde User-Agent (hieronder) en gebruikt geen proxy's.
Bij weigering stopt hij. Blijft een website na enkele nieuwe pogingen antwoorden met 429 (te veel verzoeken), of weigert zij drie verschillende adressen na elkaar met 403, dan slaat hij die website de rest van de ronde over.
In rondes. Hij draait niet doorlopend, maar in afzonderlijke rondes.

Hij maakt zich bekend als NaslaanBot/0.1 (+https://naslaan.com; info@naslaan.com).

Zet dit in robots.txt:

User-agent: NaslaanBot
Disallow: /

Een wijziging in robots.txt ziet hij uiterlijk bij de volgende ronde. Vragen over de crawler: info@naslaan.com.