Ücretsiz Araç · GEO
AI Bot Erişim Testi
ChatGPT, Claude ve Perplexity’nin botları sayfanızı gerçekten açabiliyor mu? robots.txt izin verse bile güvenlik duvarı ya da CDN botu kapıda geri çevirebilir. Araç sayfanızı her botun kimliğiyle ayrı ayrı ister, tarayıcıya verilen yanıtla karşılaştırır ve engeli nerede olduğuyla birlikte gösterir.
Neden robots.txt testi yetmez?
robots.txt, bota “bu sayfayı tarama” diyen bir istektir; kapıyı açan ya da kapatan ise sunucudur. Güvenlik eklentileri, CDN’lerin hazır bot kuralları ve sunucu ayarları kimliğinde bir yapay zekâ botunun adı geçen istekleri çoğu zaman robots.txt’ye bakmadan reddeder. Site sahibi bunu genellikle fark etmez: tarayıcıda her şey normal görünür, robots.txt testi “izinli” der, ama bot yalnızca bir hata sayfası görür ve site yapay zekâ yanıtlarında kaynak olarak geçmez.
Araç neyi kontrol eder?
- Sunucunun yanıtı: sayfa her bot kimliğiyle istenir; durum kodu, güvenlik duvarı ya da robot doğrulama sayfası, yönlendirme ve sayfadaki metin miktarı tarayıcıya verilen yanıtla karşılaştırılır.
- robots.txt: her botun kendi grubuna (yoksa
*grubuna) göre test edilen adrese izin verilip verilmediği, eşleşen kural ve satırıyla. - Sayfa etiketleri:
noindex,nosnippetvemax-snippetgibi robots meta etiketleri ve X-Robots-Tag başlığı. Google, yapay zekâ özelliklerinde (AI Overviews, AI Mode) kaynak olabilmek için sayfanın dizinde olmasını ve snippet ile gösterilmeye uygun olmasını şart koşar. - Content-Signal: robots.txt’de (ör. Cloudflare’in yönettiği dosyada) yapay zekâ kullanımına dair tercih satırları varsa okunur.
Test edilen botlar
| Bot | Tür | Sahibi · ne için gezer? | Test |
|---|---|---|---|
OAI-SearchBot | Yapay zekâ arama (kaynak gösterme) | OpenAI · ChatGPT aramasında kaynak gösterme | HTTP + robots.txt |
Claude-SearchBot | Yapay zekâ arama (kaynak gösterme) | Anthropic · Claude aramasında kaynak gösterme | HTTP + robots.txt |
PerplexityBot | Yapay zekâ arama (kaynak gösterme) | Perplexity · arama sonuçlarında kaynak gösterme | HTTP + robots.txt |
ChatGPT-User | Kullanıcı isteğiyle sayfa açma | OpenAI · ChatGPT’de kullanıcının istediği sayfayı açma | HTTP + robots.txt |
Claude-User | Kullanıcı isteğiyle sayfa açma | Anthropic · Claude’da kullanıcının istediği sayfayı açma | HTTP + robots.txt |
Perplexity-User | Kullanıcı isteğiyle sayfa açma | Perplexity · kullanıcının istediği sayfayı açma | HTTP + robots.txt |
GPTBot | Model eğitimi | OpenAI · model eğitimi | HTTP + robots.txt |
ClaudeBot | Model eğitimi | Anthropic · model eğitimi | HTTP + robots.txt |
CCBot | Model eğitimi | Common Crawl · açık veri seti (birçok model bununla eğitilir) | HTTP + robots.txt |
Google-Extended | Model eğitimi | Google · Gemini eğitimi ve temellendirme (Arama’yı etkilemez) | Yalnızca robots.txt |
Applebot-Extended | Model eğitimi | Apple · Apple Intelligence eğitimi | Yalnızca robots.txt |
Google-Extended ve Applebot-Extended ayrı bir tarayıcı değildir; Google ve Apple içeriği kendi tarayıcılarıyla toplar, bu adlar yalnızca robots.txt’de eğitim tercihini belirtir. Anthropic tam kimlik dizelerini yayımlamadığı için Claude botlarında ve CCBot’ta sitelerin erişim kayıtlarında görülen biçim kullanılır; güvenlik duvarları botları kimlikteki ad üzerinden tanıdığı için sonuç yine anlamlıdır.
Sık sorulan sorular
robots.txt izin veriyorsa bot siteme girebilir mi?
Her zaman değil. robots.txt yalnızca bir istektir; asıl kapıyı sunucu, güvenlik duvarı (WAF) ya da CDN tutar. Birçok güvenlik eklentisi ve CDN kuralı, kimliğinde GPTBot, ClaudeBot ya da PerplexityBot geçen istekleri robots.txt’ye bakmadan 403 ile reddeder. Bu durumda bot sayfanızı okuyamaz ve sitenizi yapay zekâ yanıtlarında kaynak olarak gösteremez.
Test sonucu “erişebilir” diyorsa kesin erişebilir mi?
Kesin değil. Araç her botun kimliğiyle istek atar ama istek Enar SEO sunucusundan gelir. Bazı servisler (ör. Cloudflare’in yapay zekâ botu engeli) gerçek botu IP adresinden ve doğrulanmış bot listesinden tanır; bu engel bizim isteğimize uygulanmaz. Site bir CDN arkasındaysa sonuç ekranı bunu ayrıca belirtir; CDN panelinizdeki bot ayarlarını da kontrol edin.
“Sunucu engelliyor” sonucu her zaman bot engeli mi demek?
Çoğunlukla öyledir ama iki olasılık vardır: site bu bot kimliğini bilerek engelliyordur ya da “sahte bot” koruması, kimliği bot olup IP’si o şirkete ait olmayan istekleri reddediyordur. İkincisinde gerçek bot sayfanızı açabilir. Hangisi olduğunu sunucu ya da CDN kayıtlarınızda, ilgili botun resmi IP listesinden gelen isteklere bakarak anlayabilirsiniz.
Model eğitimi botlarını engellemek görünürlüğümü düşürür mü?
Hayır. GPTBot, ClaudeBot, CCBot ve Google-Extended içeriğinizin model eğitiminde kullanılıp kullanılmayacağını belirler. Yapay zekâ yanıtlarında kaynak gösterilmek için arama botlarına (OAI-SearchBot, Claude-SearchBot, PerplexityBot) ve kullanıcı isteğiyle gelen ajanlara (ChatGPT-User, Claude-User, Perplexity-User) erişim yeterlidir.
Test hedef siteye zarar verir mi?
Hayır. Her bot kimliğiyle yalnızca bir istek atılır (toplam on bir istek); sonuç 10 dakika saklanır ve aynı siteyi kısa sürede tekrar tekrar test etmek sınırlıdır. İsteklerin kimliğinde aracın adresi yazar; site yöneticisi kayıtlarında testin kaynağını görebilir.
robots.txt kurallarını satır satır incelemek ve değişikliği yayın öncesi denemek için Robots.txt Test Aracı’nı kullanabilirsiniz.