Google robots.txt’yi nasıl okur?

Bot kendi grubunu arar. Bot, User-agent satırında kendi adının geçtiği grubu kullanır; aynı ada ait birden fazla grup birleştirilir. Kendi grubu yoksa * grubuna uyar. Googlebot-Image ve Googlebot-News kendi grupları yoksa Googlebot’un kurallarını kullanır.
En uzun kural kazanır. Adrese uyan kurallardan en uzun (en özel) olanı uygulanır: Disallow: /blog/ ile Allow: /blog/rehber/ birlikteyse /blog/rehber/ taranabilir. Uzunluklar eşitse Allow kazanır.
* ve $ işaretleri. * herhangi bir karakter dizisi, $ adresin sonu demektir: Disallow: /*.pdf$ tüm PDF’leri engeller, Disallow: /*? parametreli adresleri.
Engelli ≠ dizin dışı. robots.txt taramayı engeller, dizine eklemeyi değil: başka sitelerden link alan engelli bir sayfa, içeriği okunmadan açıklamasız görünebilir. Dizinden çıkarmak için sayfayı taramaya açıp noindex kullanın.
Durum kodu önemlidir. robots.txt 4xx dönerse (429 hariç) Google her şeyi taranabilir sayar; 5xx ya da 429 dönerse siteyi geçici olarak tamamen engelli sayar. Dosyanın ilk 500 KiB’ı okunur.

Hangi bot ne yapar?

Araç aşağıdaki botların tamamını test eder; listede olmayan bir botu sonuç ekranından ekleyebilirsiniz.

Bot (User-agent)	Tür	Ne için gezer?
`Googlebot`	Arama motoru	Google Arama
`Googlebot-Image`	Arama motoru	Google Görseller (grubu yoksa Googlebot kuralları)
`Googlebot-News`	Arama motoru	Google Haberler (grubu yoksa Googlebot kuralları)
`Bingbot`	Arama motoru	Bing; Microsoft Copilot yanıtları da bu dizini kullanır
`YandexBot`	Arama motoru	Yandex
`Applebot`	Arama motoru	Apple (Siri, Spotlight, Safari önerileri)
`OAI-SearchBot`	Yapay zekâ arama (GEO)	ChatGPT arama sonuçlarında kaynak gösterme
`Claude-SearchBot`	Yapay zekâ arama (GEO)	Claude arama sonuçlarında kaynak gösterme
`PerplexityBot`	Yapay zekâ arama (GEO)	Perplexity arama sonuçlarında kaynak gösterme
`ChatGPT-User`	Kullanıcı isteği	ChatGPT’de kullanıcının istediği sayfayı açma
`Claude-User`	Kullanıcı isteği	Claude’da kullanıcının istediği sayfayı açma
`Perplexity-User`	Kullanıcı isteği	Perplexity’de kullanıcının istediği sayfayı açma
`GPTBot`	Model eğitimi	OpenAI model eğitimi
`ClaudeBot`	Model eğitimi	Anthropic model eğitimi
`Google-Extended`	Model eğitimi	Gemini eğitimi ve temellendirme (arama sıralamasını etkilemez)
`Applebot-Extended`	Model eğitimi	Apple Intelligence eğitimi
`CCBot`	Model eğitimi	Common Crawl açık veri seti (birçok model bununla eğitilir)
`meta-externalagent`	Model eğitimi	Meta yapay zekâ modelleri
`Bytespider`	Model eğitimi	ByteDance (TikTok) yapay zekâ modelleri
`Amazonbot`	Model eğitimi	Amazon (Alexa ve yapay zekâ hizmetleri)

Sık sorulan sorular

Yapay zekâ botlarını engellemeli miyim?

Arama ve yanıt botları (OAI-SearchBot, Claude-SearchBot, PerplexityBot) sitenizi yapay zekâ yanıtlarında kaynak olarak göstermek için gezer; bunları engellemek GEO görünürlüğünü kaybettirir. Model eğitimi botlarını (GPTBot, ClaudeBot, CCBot, Google-Extended) engellemek ise içeriğinizin eğitim verisine girip girmeyeceğine dair bir tercihtir ve arama sıralamasını etkilemez.

Google-Extended engellersem Google’da sıralamam düşer mi?

Hayır. Google-Extended ayrı bir tarayıcı değil, Googlebot’un topladığı içeriğin Gemini eğitimi ve temellendirmesinde kullanılıp kullanılmayacağını belirleyen bir işarettir; Google Arama’daki görünürlüğü etkilemez.

Değişikliği yayınlamadan önce nasıl denerim?

“Düzenle ve test et” düğmesiyle dosyayı sayfada değiştirin; matris siz yazarken güncellenir. Sitedeki dosya değişmez. Sonucu beğenirseniz “İndir” ile kaydedip sunucunuza yükleyin.

Neden sitemde olmayan bir robots.txt içeriğini test edebiliyorum?

“robots.txt yapıştır” seçeneğiyle henüz yayında olmayan bir dosyayı ya da bir müşterinizin gönderdiği metni doğrudan deneyebilirsiniz.

Tüm sitenin teknik durumunu görmek için Teknik SEO Skoru aracını kullanabilirsiniz.

Robots.txt Test Aracı