Crawler
Over de Declarebase-crawler
DeclarebaseBot zoekt de officiële documenten van bouwproducten op de websites van fabrikanten. Zo vinden aannemers de juiste fiche en zien ze wat ontbreekt of verlopen is.
Wat hij doet
Hij zoekt documenten
DeclarebaseBot leest openbare productpagina's en documenten: technische fiches (TDS), prestatieverklaringen (DoP), CE-markeringen en EPD's. Hij noteert waar een document staat en wanneer we het laatst controleerden.
Herkennen
De user agent
Elk verzoek van de crawler draagt deze user agent:
DeclarebaseBot/1.0 (+https://declarebase.com/bot)De link wijst naar deze pagina.
Regels
robots.txt en TDM-voorbehoud
DeclarebaseBot volgt de regels in je robots.txt, voor DeclarebaseBot en voor alle bots (*). Heb je tekst- en datamining machineleesbaar voorbehouden (artikel 4 van EU-richtlijn 2019/790)? Dan respecteert hij dat ook.
Ritme
Hoe vaak hij langskomt
Hoogstens één verzoek per seconde per website. De meeste bezoeken vallen 's nachts, Belgische tijd. Hij komt terug om te controleren of een document nog klopt.
Bezwaar
Weigeren of laten verwijderen
Wil je DeclarebaseBot niet op je site? Zet dit in je robots.txt:
User-agent: DeclarebaseBot
Disallow: /Wil je links of gegevens van je site laten verwijderen? Mail naar hallo@declarebase.com met je domein of de pagina's. We antwoorden per mail.