Perplexity Crawler Blokkolása: Cloudflare Szabályozza az Internethasználatot

Cloudflare nemrégiben bejelentette, hogy eltávolította a Perplexity nevű keresőrobotot a hitelesített botok listájáról, és mostantól blokkolja annak minden tevékenységét. A döntés hátterében több felhasználói panasz állt, amelyek a Perplexity robots.txt szabályainak megsértésére vonatkoztak. Az ezt követő vizsgálat során kiderült, hogy a Perplexity agresszív, csalárd botstratégiákat alkalmazott, hogy a weboldalakra ráerőltetni a crawler-eit.

A Cloudflare és a hitelesített botok programja

A Cloudflare rendelkezik egy Verified Bots néven ismert rendszerrel, amely lehetővé teszi a megbízható botok számára, hogy hozzáférjenek a védett weboldalakhoz. A program célja, hogy biztonságos keretek között működjenek a botok, megkövetelve tőlük, hogy betartsák a robots.txt protokollokat. A Perplexity azonban megszegte ezeket a követelményeket, mivel nem tartotta tiszteletben a robots.txt fájlban található utasításokat, és olyan IP-címeket használt, amelyeket nem deklarált hivatalos crawlerként.

Cloudflare megfigyelései alapján a Perplexity viselkedése arra utal, hogy szándékosan próbálta megkerülni a robots.txt szabályait. A cég észlelte, hogy a Perplexity változó IP-címeket használ, valamint a felhasználói ügynökét is hamisítja, hogy elkerülje a blokkolási kísérleteket. A botok tevékenysége során a Perplexity a Chrome böngészőt utánozva próbálta magát álcázni, ami tovább növelte a gyanút.

A Perplexity botok viselkedése

A Perplexity botjai, mint például a PerplexityBot és a Perplexity-User, megpróbálták átverni a weboldalak védelmét azzal, hogy különböző felhasználói ügynököket alkalmaztak. Amikor a felhasználói ügynöküket blokkolták, gyorsan átváltottak egy másikra, amely emberi felhasználónak tűnt. A Cloudflare által megfigyelt hamisított felhasználói ügynök például a következő volt: “Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36”.

A Cloudflare döntése, hogy eltávolítja a Perplexity-t a hitelesített botok közül, egyértelmű jelzés a botok agresszív viselkedésére. Az internet, ahogyan azt az utóbbi három évtizedben ismertük, gyorsan változik, de a megbízhatóság mindig is alapvető marad. A keresőrobotoknak átláthatónak kell lenniük, világos célt kell szolgálniuk, és be kell tartaniuk a weboldalak által megadott irányelveket.

SEO következmények és a felhasználók teendői

A Cloudflare felhasználóinak, akik szeretnék, ha a Perplexity crawleri hozzáférne az oldalukhoz, érdemes ellenőrizniük, hogy a Cloudflare blokkolja-e ezeket a crawler-okat. Ha igen, a felhasználók engedélyezhetik a crawler tevékenységet a Cloudflare irányítópultján. A Perplexity hitelesített botok programjának megsértése miatt történt eltávolítása újabb figyelmeztetés a weboldal tulajdonosok számára, hogy mindig figyelemmel kísérjék a botok viselkedését és a weboldaluk védelmét.

A Perplexity reakciója is figyelemre méltó, mivel azt állítják, hogy a Cloudflare félreértelmezi az AI-asszisztenseikkel kapcsolatos tevékenységeiket. A Perplexity hangsúlyozta, hogy a felhasználói által kezdeményezett adatigénylés nem összevethető a hagyományos web crawler-ek működésével, ami további vitákat generálhat a botok és a legitim AI asszisztensek megkülönböztetésével kapcsolatban.

Mit mond a szakértő a helyzetről?

Megkérdeztük Császár Viktor SEO szakértőt, hogy hogyan látja a Cloudflare és a Perplexity közötti konfliktust. A szakértő véleménye szerint: „A Cloudflare döntése, hogy blokkolja a Perplexity crawler-t, egy szükséges lépés a weboldalak védelme érdekében. A botok transzparenciája és etikus működése elengedhetetlen, különösen a mai digitális környezetben, ahol a felhasználói adatok védelme elsődleges szemponttá vált. A Perplexity által alkalmazott taktikák, mint a hamis IP-címek használata és a felhasználói ügynökök spoofing-ja, nemcsak a weboldalak integritását fenyegetik, hanem az egész SEO ökoszisztémát is. Érdemes figyelni arra, hogy a jövőben hogyan alakul a botok és a weboldalak közötti kapcsolat, hiszen a megbízhatóság és az etikus viselkedés mindkét fél számára előnyös.” További információkért látogasson el Császár Viktor weboldalára: Császár Viktor SEO szakértő.

Forrás: SearchEngineJournal.com