EN

AI Bot Erişim Testi: yapay zekâ sitenizi okuyabiliyor mu?

ChatGPT, Perplexity, Claude ve Google botları sayfanıza erişebiliyor mu, engelleniyor mu, farklı içerik mi görüyor? Adresi yazın; robots.txt kurallarını ve 8 botun aldığı yanıtı saniyeler içinde görün.

Bu araç neyi kontrol eder?

Girdiğiniz sayfayı önce normal bir tarayıcı gibi açar, sonra aynı sayfayı Googlebot, Bingbot, Applebot, OAI-SearchBot, ChatGPT-User, PerplexityBot, GPTBot ve CCBot kimlikleriyle tekrar ister. Her botun aldığı yanıtı tarayıcınınkiyle karşılaştırır: durum kodu, yönlendirme, başlık, H1, canonical, noindex ve sayfa metni.

Ayrıca sitenin robots.txt dosyasını okuyup bu botlara ve kullanıcı aracısı yayınlamayan ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended ve Applebot-Extended için kuralların izin verip vermediğini gösterir.

Sonuçlar nasıl okunur?

  • Tarayıcıyla aynı sayfa: Bot, ziyaretçinin gördüğü içeriğin aynısını alıyor. İstenen durum bu.
  • Engellendi / Doğrulama sayfasına takıldı: Sunucu, güvenlik duvarı veya CDN (çoğunlukla Cloudflare) bu botu geri çeviriyor. Yapay zekâ aramalarında görünmemenizin en sık nedeni bu.
  • robots.txt: Engelli: Siteniz bu botu kurallarla dışarıda tutuyor. Bilinçli bir tercih değilse kuralı kaldırın.
  • Farklı içerik / Daha az içerik: Bot, ziyaretçiden farklı ya da eksik bir sayfa alıyor. İçerik JavaScript ile yükleniyorsa çoğu AI botu onu göremez.
  • Bu bota noindex: Sayfa bu bot için dizine eklenmeme talimatı taşıyor.

Arama botu, AI arama botu ve eğitim botu farkı

OAI-SearchBot, PerplexityBot ve Claude-SearchBot gibi AI arama botları, sayfanızın ChatGPT, Perplexity veya Claude yanıtlarında kaynak olarak gösterilmesini sağlar. ChatGPT-User ve Claude-User, bir kullanıcı sohbet içinde sayfanızı açtığında gelir. GPTBot, CCBot, ClaudeBot ve Google-Extended ise model eğitimi için veri toplar. Eğitim botlarını engelleyip arama botlarına izin vermek mümkündür; birçok yayıncı bunu tercih ediyor.

AI arama botlarına nasıl izin verilir?

robots.txt dosyanızda bu botları ayrı ayrı belirtebilirsiniz. Örneğin eğitimi kapatıp aramaya açık kalmak için:

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

Cloudflare kullanıyorsanız Security → Bots altındaki “AI botlarını engelle” ayarını da kontrol edin; robots.txt izin verse bile bu ayar botları geri çevirebilir.

Sınırlamalar

İstekler sunucumuzdan, botların kendi kimlik bilgisiyle (user-agent) gönderilir. CDN’ler gerçek botları IP adresiyle doğruladığı için sonuç, gerçek botun gördüğünden iki yönde de farklı olabilir. Bu yüzden “engellendi” sonucunu güçlü bir işaret, “sorunsuz” sonucunu ise iyi bir başlangıç olarak okuyun. Araç tek sayfa kontrol eder ve JavaScript çalıştırmaz.

Bu aracın kontrol mantığı, Puneet Singh’in açık kaynak Open SEO Crawler projesinden (MIT lisansı) uyarlanmıştır. Bot listesi ve karşılaştırma kuralları o projeye dayanır; emeği için teşekkürler.

SSS

Sık sorulan sorular

AI botları ve erişim hakkında kısa yanıtlar.

ChatGPT siteme neden erişemiyor?

En sık üç neden vardır: robots.txt dosyasında OAI-SearchBot veya GPTBot için Disallow kuralı, Cloudflare gibi bir CDN’in AI botlarını engelleme ayarı ve içeriğin yalnızca JavaScript ile yüklenmesi. Bu araç ilk ikisini doğrudan gösterir.

GPTBot’u engellersem ChatGPT aramasında görünmez miyim?

Hayır. GPTBot model eğitimi için veri toplar. ChatGPT aramasında kaynak olarak gösterilmek için OAI-SearchBot’a izin vermeniz yeterlidir; ikisi ayrı ayrı yönetilebilir.

ClaudeBot neden yalnızca robots.txt ile kontrol ediliyor?

Anthropic’in botları ve Google-Extended gibi bazı tokenlar test edilebilir bir kullanıcı aracısı yayınlamaz ya da ayrı bir tarayıcı değildir. Bu yüzden onlar için yalnızca robots.txt kuralları değerlendirilir.

Araç ücretsiz mi, girdiğim adres saklanıyor mu?

Ücretsizdir ve kayıt istemez. Adres yalnızca kontrol için kullanılır; aynı adres 15 dakika içinde tekrar sorulursa sonuç önbellekten gelir, kalıcı kayıt tutulmaz.