aitcom-collector — de dataverzamelaar van AIT Community

AIT Community is een non-profitcommunity voor mensen die met AI bouwen. Onze leden gebruiken de dataverzamelaar om openbare informatie te verzamelen voor hun eigen onderzoek, zoals de berichten in een feed of de repositories van een opensourceorganisatie.

Zag je dit adres in je serverlogs? Dan heeft een van onze leden ons gevraagd een openbare pagina op je site te lezen.

• Hij leest eerst je robots.txt en volgt die.
• Hij bezoekt elke site hooguit één keer per seconde, voor al onze leden samen.
• Als je site vraagt om rustiger aan te doen (429 of 503), wacht hij, en na de derde keer stopt hij.
• Hij leest alleen openbare pagina's via https. Hij logt nooit in en vult nooit formulieren in.
• Hij laat altijd weten wie hij is (zie hieronder).

aitcom-collector/1.0 (+https://aitcommunity.org/collectors/about)

Voeg dit toe aan je robots.txt om de verzamelaar van je hele site te weren:

User-agent: aitcom-collector
Disallow: /

Je kunt ook alleen een deel van je site blokkeren, bijvoorbeeld Disallow: /private/.

Wil je liever dat we je domein nooit bezoeken? Mail info@klevox.com met je domeinnaam. We zetten het op onze blokkeerlijst, die ook alle subdomeinen dekt.