Yapay zekâ botları ve robots.txt: GPTBot, ClaudeBot ve Google-Extended’a izin vermeli misiniz?
Eğitim botunu engellemek ile arama botunu engellemek aynı şey değildir. Hangi botun ne iş yaptığını, hangisini kapatınca yapay zekâ yanıtlarından düştüğünüzü öğrenin.
Son kontrol:
Yapay zekâ şirketleri web’i tek bir botla taramaz. Aynı şirketin bir botu modelleri eğitmek için içerik toplar, bir başkası sohbet içindeki arama sonuçlarını hazırlar, bir üçüncüsü yalnız kullanıcı bir bağlantıyı açmak istediğinde gelir. robots.txt’de “yapay zekâyı kapatayım” diyerek hepsini engellerseniz, içeriğinizi eğitimden korurken ChatGPT ve Perplexity yanıtlarında kaynak olarak gösterilme şansınızı da kaybedebilirsiniz.
Bu rehber, büyük platformların botlarını resmî belgelerine göre ayırır ve e-ticaret ile kurumsal siteler için mantıklı bir başlangıç ayarı önerir.
Hangi bot ne iş yapar?
Aşağıdaki tablo, platformların kendi belgelerinde tanımladığı bot adlarını özetler. robots.txt’de kullandığınız ad, tablodaki “User-agent” değeridir. Botların listesi zamanla değişebilir; ayar yapmadan önce kaynak bağlantılarından son hâline bakın.
| User-agent | Şirket | Ne için gelir? | Engellerseniz |
|---|---|---|---|
| GPTBot | OpenAI | Model eğitimi için içerik toplar. | İçeriğiniz gelecekteki modellerin eğitiminde kullanılmaz; ChatGPT aramasındaki görünürlüğünüz bundan etkilenmez. |
| OAI-SearchBot | OpenAI | ChatGPT’nin arama sonuçlarını hazırlar. | ChatGPT yanıtlarında kaynak olarak gösterilmeniz zorlaşır. |
| ChatGPT-User | OpenAI | Kullanıcı ChatGPT’den bir sayfayı açmasını istediğinde gelir. | Kullanıcının istediği sayfayı okuyamaz; bu bir tarama değil, kullanıcı isteğidir. |
| ClaudeBot | Anthropic | Model eğitimi için içerik toplar. | İçeriğiniz Claude modellerinin eğitiminde kullanılmaz. |
| Claude-SearchBot | Anthropic | Claude’un arama sonuçlarını hazırlar. | Claude yanıtlarında kaynak gösterilmeniz zorlaşır. |
| Claude-User | Anthropic | Kullanıcı Claude’dan bir sayfayı açmasını istediğinde gelir. | Kullanıcının istediği sayfayı okuyamaz. |
| Google-Extended | İçeriğinizin Gemini modellerinin eğitiminde ve yanıt üretiminde kullanılmasını denetleyen bir izin adıdır; ayrı bir tarayıcı değildir. | Google Arama, AI Genel Bakış ve AI Mode etkilenmez; bunlar Googlebot’a bağlıdır. | |
| Googlebot | Google Arama’yı ve Google’ın AI Genel Bakış ile AI Mode sonuçlarını besler. | Google’da da, Google’ın yapay zekâ sonuçlarında da görünmezsiniz. | |
| PerplexityBot | Perplexity | Perplexity’nin arama sonuçları için siteleri tarar. | Perplexity yanıtlarında kaynak gösterilmeniz zorlaşır. |
| Applebot-Extended | Apple | İçeriğinizin Apple’ın yapay zekâ modellerinin eğitiminde kullanılmasını denetler. | Siri ve Spotlight aramaları etkilenmez; onlar Applebot’a bağlıdır. |
En sık hata: eğitimi kapatırken aramayı da kapatmak.
Birçok site “yapay zekâ botları” listesini kopyalayıp hepsine Disallow yazıyor. Bu listede arama botları da olduğunda site, ChatGPT ya da Perplexity bir ürün önerirken kaynak olarak gösterilebileceği yerden çekiliyor. Karar ikiye ayrılmalı: içeriğim modellerin eğitiminde kullanılsın mı ve yapay zekâ yanıtlarında kaynak olarak görünmek istiyor muyum?
İkinci yaygın hata Google tarafında yapılıyor. Google-Extended’ı engellemek AI Genel Bakış’tan çıkmanızı sağlamaz; Google bu sonuçları normal arama dizini ve Googlebot ile hazırlar. AI Genel Bakış’ta görünmek istemeyen bir site için Google’ın sunduğu denetimler nosnippet gibi snippet kurallarıdır; bunlar normal arama sonucundaki açıklamanızı da etkiler.
Üçüncü hata robots.txt dışında yaşanır. Cloudflare gibi CDN ve güvenlik hizmetlerinde yapay zekâ botlarını toplu engelleyen ayarlar bulunur. robots.txt dosyanız izin verse bile bu ayar açıksa bot sitenize ulaşamaz. Hangi botların gerçekten geldiğini sunucu kayıtlarınızdan kontrol edin.
E-ticaret ve kurumsal siteler için başlangıç ayarı.
Satış yapan bir site için yapay zekâ yanıtlarında önerilmek genellikle bir fırsattır. Bu yüzden arama botlarını açık tutup eğitim botları için ayrı karar vermek mantıklı bir başlangıçtır. Aşağıdaki örnekte eğitim botları kapalı, arama ve kullanıcı botları açıktır. Eğitime de izin vermek isterseniz ilk iki kuralı silmeniz yeterlidir.
- User-agent: GPTBot → Disallow: /
- User-agent: ClaudeBot → Disallow: /
- User-agent: Google-Extended → Disallow: / (Google Arama ve AI Genel Bakış etkilenmez)
- User-agent: OAI-SearchBot, Claude-SearchBot, PerplexityBot → Allow: /
- User-agent: * → sepet, hesap ve iç arama sayfaları gibi taranması gerekmeyen yolları Disallow ile kapatın.
- Dosyanın sonunda Sitemap: satırıyla site haritanızın adresini verin.
Değişikliğin işe yaradığını nasıl anlarsınız?
robots.txt’yi güncelledikten sonra dosyanın sitenizin kökünde, örneğin siteniz.com/robots.txt adresinde açıldığını ve 200 durum koduyla döndüğünü kontrol edin. Ardından sunucu ya da CDN kayıtlarında bot adlarına göre filtreleyin: izin verdiğiniz botların istekleri devam etmeli, engellediklerinizin istekleri azalmalıdır.
Marvedo’nun ücretsiz anlık analizi, tek bir sayfanız için robots.txt’de yapay zekâ botlarına erişim izni olup olmadığını da kontrol eder. Yapay zekâ yanıtlarında kaynak gösterilip gösterilmediğinizi ise erişimi açtıktan sonra birkaç hafta boyunca aynı sorularla izlemeniz gerekir.
Bu rehber, resmî kaynaklara dayanılarak yapay zekâ desteğiyle hazırlandı. Örnekler gerçek müşteri sonuçlarını yansıtmaz; herhangi bir performans artışı vaat etmez.