Cloudflare, IP adreslerini döndürme ve robots.txt talimatlarını görmezden gelme gibi aldatıcı tarama davranışları nedeniyle Perplexity'yi engelliyor.
Cloudflare, Perplexity'nin tarayıcısını doğrulanmış bot listesinden çıkardığını ve artık Perplexity ile tüm gizli botlarının web sitelerini taramasını aktif olarak engellediğini duyurdu. Cloudflare, Perplexity'ye yönelik robots.txt protokollerinin ihlaliyle ilgili çok sayıda kullanıcı şikayetine yanıt olarak harekete geçti ve ardından yapılan bir soruşturma, Perplexity'nin tarayıcılarını web sitelerine zorla sokmak için agresif sahte bot taktikleri kullandığını ortaya çıkardı.
Cloudflare Doğrulanmış Botlar Programı
Cloudflare, sistemlerindeki botları beyaz listeye alarak, Cloudflare tarafından korunan web sitelerini taramalarına olanak tanıyan Verified Bots adlı bir sisteme sahiptir. Doğrulanmış botların, Cloudflare sistemindeki ayrıcalıklı durumlarını koruyabilmeleri için robots.txt protokollerine uymak gibi belirli politikalara uymaları gerekir.
Perplexity'nin, botların robots.txt protokolüne uyması ve tarama hizmetine ait olduğu bildirilmeyen IP adreslerini kullanmaktan kaçınması yönündeki Cloudflare gerekliliklerini ihlal ettiği tespit edildi.
Cloudflare, Gizli Tarama Kullandığı İçin Perplexity'yi Suçluyor
Cloudflare, robots.txt protokolünü atlatmak amacıyla son derece agresif bir taramanın göstergesi olan çeşitli aktiviteler gözlemledi.
Gizli Tarama Davranışı: Dönen IP Adresleri
Perplexity, dönen IP adresleri, değişen ASN'ler ve Chrome gibi tarayıcıları taklit ederek engelleri aşar.
Perplexity, belirli bir ASN'den (Otonom Sistem Numarası) tarama yapan resmi IP adreslerinin bir listesine sahiptir. Bu IP adresleri, Perplexity'deki meşru tarayıcıların belirlenmesine yardımcı olur.
ASN, bir grup IP adresi için benzersiz bir tanımlama numarası sağlayan İnternet ağ sisteminin bir parçasıdır. Örneğin, bir İSS aracılığıyla İnternet'e erişen kullanıcılar, o İSS'ye atanmış bir ASN'ye ait belirli bir IP adresiyle erişirler.
Engellendiğinde Perplexity, resmi Perplexity IP'leri olarak listelenmeyen farklı IP adreslerine geçerek kısıtlamayı atlatmaya çalıştı; bunların arasında tamamen farklı bir ASN'ye ait olanlar da vardı.
Gizli Tarama Davranışı: Sahte Kullanıcı Aracısı
Cloudflare'in tespit ettiği diğer sinsi davranış ise Perplexity'nin robots.txt aracılığıyla tarayıcısını engelleme girişimlerini engellemek için kullanıcı aracısını değiştirmesiydi.
Örneğin, Perplexity'nin botları aşağıdaki kullanıcı aracılarıyla tanımlanıyor:
- PerplexityBot
- Şaşkınlık-Kullanıcı
Cloudflare, Perplexity'nin kullanıcı aracısı engellemelerine, Mac sisteminde Chrome 124 kullanan bir kişi gibi görünen farklı bir kullanıcı aracısı kullanarak yanıt verdiğini gözlemledi. Bu, sahte bir tarayıcının kendisini meşru bir tarayıcı olarak tanıttığı, sahtecilik adı verilen bir uygulamadır.
Cloudflare'e göre Perplexity aşağıdaki gizli kullanıcı aracısını kullanmıştır:
Cloudflare Perplexity'yi Listelerden Çıkarıyor
Cloudflare, Perplexity'nin doğrulanmış bot listesinden çıkarıldığını ve engelleneceği duyurdu:
"Son otuz yıldır bildiğimiz haliyle internet hızla değişiyor, ancak bir şey sabit kalıyor: güvene dayalı. Tarayıcıların şeffaf olması, belirli bir amaca hizmet etmesi, belirli bir etkinlik gerçekleştirmesi ve en önemlisi web sitesi yönergelerini ve tercihlerini takip etmesi gerektiği konusunda net tercihler var. Perplexity'nin bu tercihlerle uyuşmayan gözlemlenen davranışlarına dayanarak, onları doğrulanmış bot listesinden çıkardık ve yönetilen kurallarımıza bu gizli taramayı engelleyen sezgisel yöntemler ekledik."
Paket servisler
- Cloudflare'in Doğrulanmış Botlar Politikasının İhlali
Perplexity, robots.txt protokolünü onurlandırmak gibi sağduyu kurallarını izleyen güvenilir botlara tarama erişimi veren Cloudflare'in Doğrulanmış Botlar politikasını ihlal etti. - Perplexity Gizli Tarama Taktikleri Kullandı
Perplexity, içeriğe erişimi engellendikten sonra içeriği taramak için farklı ASN'lerden bildirilmemiş IP adresleri ve sahte kullanıcı aracıları kullandı. - Kullanıcı Aracısı Sahteciliği
Perplexity, bilinen tarayıcıları engelleyen filtreleri aşmak için Mac işletim sisteminde Chrome gibi davranarak botunu bir insan kullanıcısı gibi gizledi. - Cloudflare'in Yanıtı
Cloudflare, Perplexity'yi Doğrulanmış Bot listesinden çıkardı ve gizli taramayı önlemek için yeni engelleme kuralları uyguladı. - SEO Etkileri
Perplexity'nin sitelerini taramasını isteyen Cloudflare kullanıcıları, Cloudflare'in Perplexity tarayıcılarını engelleyip engellemediğini kontrol etmek isteyebilirler ve eğer engelliyorsa, Cloudflare kontrol panelleri aracılığıyla taramayı etkinleştirebilirler.
Cloudflare, robots.txt dosyasına uymayarak Doğrulanmış Bot politikalarını defalarca ihlal ettiğini tespit ettikten sonra Perplexity'yi Doğrulanmış Bot listesinden çıkardı. Perplexity, tespit edilmekten kaçınmak için IP adreslerini değiştirdi, ASN'leri değiştirdi ve kullanıcı aracısını insan tarayıcısı gibi görünecek şekilde değiştirdi. Cloudflare'in botu engelleme kararı, Perplexity'nin saldırgan bot davranışlarına güçlü bir tepkidir.
Güncelleme:
Perplexity, Cloudflare'in Perplexity'nin Yapay Zeka Asistanlarını yanlış tanıttığını iddia eden bir karşı açıklama yayınladı. Kullanıcıların Yapay Zeka Asistanları aracılığıyla başlattığı veri taleplerinin, web tarayıcılarıyla aynı şey olmadığını iddia ediyorlar.
"Cloudflare gibi şirketler, kullanıcı odaklı yapay zeka asistanlarını kötü niyetli botlar olarak yanlış tanımladığında, kullanıcılara hizmet veren her türlü otomatik aracın şüpheli olması gerektiğini savunuyorlar. Bu durum, e-posta istemcilerini ve web tarayıcılarını veya potansiyel bir bekçinin beğenmediğine karar verdiği diğer tüm hizmetleri suçlu durumuna düşürebilir.
Bu tartışma, Cloudflare sistemlerinin meşru yapay zeka asistanları ile gerçek tehditler arasında ayrım yapmada temelde yetersiz olduğunu ortaya koyuyor. Eğer faydalı bir dijital asistanı kötü niyetli bir tarayıcıdan ayırt edemiyorsanız, muhtemelen meşru web trafiğinin nelerden oluştuğuna dair kararlar almamalısınız.
