theseo-ai-crawlerlog 1.0.0

Eerste openbare versie.

Wat er in zit

• Een log van elke keer dat een crawler uit een lijst van 34 bekende AI-agenten een pagina van je site ophaalde, met de pagina, het moment en de statuscode die je server teruggaf. Geteld per crawler en per pagina, over 7, 30 of 90 dagen of over alles, met een export naar CSV van hoogstens 20000 regels.
• Content signals voor search, ai-input en ai-train per crawlergroep, met drie standen per signaal, geschreven in robots.txt via het WordPress-filter. Je ziet de exacte regels voordat je opslaat.
• Een aparte Disallow: / per groep, standaard uit en duidelijk gescheiden van de signalen, want een blokkade is iets anders dan een uitspraak.
• Waarschuwingen wanneer er een echt robots.txt bestand in de wortel staat of wanneer de site zoekmachines ontmoedigt, want in allebei die gevallen doet het blok niet wat het lijkt te doen.
• Bewaartermijn van 30, 90 of 365 dagen met een dagelijkse opruimtaak, of alles bewaren. Eigen user agent tokens, hoogstens 25.

Wat er niet in zit, en dat is met opzet

• Geen IP-adres, niet leesbaar en niet als afdruk. Het adres wordt precies een keer gebruikt, voor de snelheidslimiet, en wordt daar een sleutelafdruk die binnen een minuut verloopt.
• Geen volledige user agent reeks, alleen de naam die matchte.
• Geen cookie, geen localStorage, geen sessionStorage, geen gebruikersnummer, geen queryreeks.
• Geen enkel uitgaand verzoek. Er is geen account, geen sleutel en geen dienst erachter.

Twee dingen die de plugin niet beweert

Hij zegt niet of je geciteerd wordt in ChatGPT, Perplexity of Gemini. Dat is vanaf je eigen server niet te meten. En een crawler wordt herkend aan de user agent die hij stuurt, en iedereen kan alles beweren; er zit in deze versie geen controle op omgekeerde DNS of op IP-reeksen.

Uitleg, figuren en de download staan op https://theseo.nl/tools-en-plugins/ai-crawler-log/