Cloudflare nemrégiben bejelentette, hogy eltávolította a Perplexity nevű keresőrobotot a hitelesített botok listájáról, és mostantól blokkolja annak minden tevékenységét. A döntés hátterében több felhasználói panasz állt, amelyek a Perplexity robots.txt szabályainak megsértésére vonatkoztak. Az ezt követő vizsgálat során kiderült, hogy a Perplexity agresszív, csalárd botstratégiákat alkalmazott, hogy a weboldalakra ráerőltetni a crawler-eit. A Cloudflare és a hitelesített botok programja A Cloudflare rendelkezik egy Verified Bots néven ismert rendszerrel, amely lehetővé teszi a megbízható botok számára, hogy hozzáférjenek a védett weboldalakhoz. A program célja, hogy biztonságos keretek között működjenek a botok, megkövetelve tőlük, hogy betartsák a robots.txt protokollokat. A Perplexity azonban megszegte ezeket a követelményeket, mivel nem tartotta tiszteletben a robots.txt…