Ücretsiz Araç · GEO

AI Bot Erişim Testi

ChatGPT, Claude ve Perplexity’nin botları sayfanızı gerçekten açabiliyor mu? robots.txt izin verse bile güvenlik duvarı ya da CDN botu kapıda geri çevirebilir. Araç sayfanızı her botun kimliğiyle ayrı ayrı ister, tarayıcıya verilen yanıtla karşılaştırır ve engeli nerede olduğuyla birlikte gösterir.

Sayfa, Enar SEO sunucusundan önce bir tarayıcı kimliğiyle, sonra her bot kimliğiyle bir kez istenir. Çekilen içerik saklanmaz; yalnızca durum kodu, başlık ve metin miktarı karşılaştırılır.

Neden robots.txt testi yetmez?

robots.txt, bota “bu sayfayı tarama” diyen bir istektir; kapıyı açan ya da kapatan ise sunucudur. Güvenlik eklentileri, CDN’lerin hazır bot kuralları ve sunucu ayarları kimliğinde bir yapay zekâ botunun adı geçen istekleri çoğu zaman robots.txt’ye bakmadan reddeder. Site sahibi bunu genellikle fark etmez: tarayıcıda her şey normal görünür, robots.txt testi “izinli” der, ama bot yalnızca bir hata sayfası görür ve site yapay zekâ yanıtlarında kaynak olarak geçmez.

Araç neyi kontrol eder?

  • Sunucunun yanıtı: sayfa her bot kimliğiyle istenir; durum kodu, güvenlik duvarı ya da robot doğrulama sayfası, yönlendirme ve sayfadaki metin miktarı tarayıcıya verilen yanıtla karşılaştırılır.
  • robots.txt: her botun kendi grubuna (yoksa * grubuna) göre test edilen adrese izin verilip verilmediği, eşleşen kural ve satırıyla.
  • Sayfa etiketleri: noindex, nosnippet ve max-snippet gibi robots meta etiketleri ve X-Robots-Tag başlığı. Google, yapay zekâ özelliklerinde (AI Overviews, AI Mode) kaynak olabilmek için sayfanın dizinde olmasını ve snippet ile gösterilmeye uygun olmasını şart koşar.
  • Content-Signal: robots.txt’de (ör. Cloudflare’in yönettiği dosyada) yapay zekâ kullanımına dair tercih satırları varsa okunur.

Test edilen botlar

BotTürSahibi · ne için gezer?Test
OAI-SearchBotYapay zekâ arama (kaynak gösterme)OpenAI · ChatGPT aramasında kaynak göstermeHTTP + robots.txt
Claude-SearchBotYapay zekâ arama (kaynak gösterme)Anthropic · Claude aramasında kaynak göstermeHTTP + robots.txt
PerplexityBotYapay zekâ arama (kaynak gösterme)Perplexity · arama sonuçlarında kaynak göstermeHTTP + robots.txt
ChatGPT-UserKullanıcı isteğiyle sayfa açmaOpenAI · ChatGPT’de kullanıcının istediği sayfayı açmaHTTP + robots.txt
Claude-UserKullanıcı isteğiyle sayfa açmaAnthropic · Claude’da kullanıcının istediği sayfayı açmaHTTP + robots.txt
Perplexity-UserKullanıcı isteğiyle sayfa açmaPerplexity · kullanıcının istediği sayfayı açmaHTTP + robots.txt
GPTBotModel eğitimiOpenAI · model eğitimiHTTP + robots.txt
ClaudeBotModel eğitimiAnthropic · model eğitimiHTTP + robots.txt
CCBotModel eğitimiCommon Crawl · açık veri seti (birçok model bununla eğitilir)HTTP + robots.txt
Google-ExtendedModel eğitimiGoogle · Gemini eğitimi ve temellendirme (Arama’yı etkilemez)Yalnızca robots.txt
Applebot-ExtendedModel eğitimiApple · Apple Intelligence eğitimiYalnızca robots.txt

Google-Extended ve Applebot-Extended ayrı bir tarayıcı değildir; Google ve Apple içeriği kendi tarayıcılarıyla toplar, bu adlar yalnızca robots.txt’de eğitim tercihini belirtir. Anthropic tam kimlik dizelerini yayımlamadığı için Claude botlarında ve CCBot’ta sitelerin erişim kayıtlarında görülen biçim kullanılır; güvenlik duvarları botları kimlikteki ad üzerinden tanıdığı için sonuç yine anlamlıdır.

Sık sorulan sorular

robots.txt izin veriyorsa bot siteme girebilir mi?

Her zaman değil. robots.txt yalnızca bir istektir; asıl kapıyı sunucu, güvenlik duvarı (WAF) ya da CDN tutar. Birçok güvenlik eklentisi ve CDN kuralı, kimliğinde GPTBot, ClaudeBot ya da PerplexityBot geçen istekleri robots.txt’ye bakmadan 403 ile reddeder. Bu durumda bot sayfanızı okuyamaz ve sitenizi yapay zekâ yanıtlarında kaynak olarak gösteremez.

Test sonucu “erişebilir” diyorsa kesin erişebilir mi?

Kesin değil. Araç her botun kimliğiyle istek atar ama istek Enar SEO sunucusundan gelir. Bazı servisler (ör. Cloudflare’in yapay zekâ botu engeli) gerçek botu IP adresinden ve doğrulanmış bot listesinden tanır; bu engel bizim isteğimize uygulanmaz. Site bir CDN arkasındaysa sonuç ekranı bunu ayrıca belirtir; CDN panelinizdeki bot ayarlarını da kontrol edin.

“Sunucu engelliyor” sonucu her zaman bot engeli mi demek?

Çoğunlukla öyledir ama iki olasılık vardır: site bu bot kimliğini bilerek engelliyordur ya da “sahte bot” koruması, kimliği bot olup IP’si o şirkete ait olmayan istekleri reddediyordur. İkincisinde gerçek bot sayfanızı açabilir. Hangisi olduğunu sunucu ya da CDN kayıtlarınızda, ilgili botun resmi IP listesinden gelen isteklere bakarak anlayabilirsiniz.

Model eğitimi botlarını engellemek görünürlüğümü düşürür mü?

Hayır. GPTBot, ClaudeBot, CCBot ve Google-Extended içeriğinizin model eğitiminde kullanılıp kullanılmayacağını belirler. Yapay zekâ yanıtlarında kaynak gösterilmek için arama botlarına (OAI-SearchBot, Claude-SearchBot, PerplexityBot) ve kullanıcı isteğiyle gelen ajanlara (ChatGPT-User, Claude-User, Perplexity-User) erişim yeterlidir.

Test hedef siteye zarar verir mi?

Hayır. Her bot kimliğiyle yalnızca bir istek atılır (toplam on bir istek); sonuç 10 dakika saklanır ve aynı siteyi kısa sürede tekrar tekrar test etmek sınırlıdır. İsteklerin kimliğinde aracın adresi yazar; site yöneticisi kayıtlarında testin kaynağını görebilir.

robots.txt kurallarını satır satır incelemek ve değişikliği yayın öncesi denemek için Robots.txt Test Aracı’nı kullanabilirsiniz.