Bant Genişliğinizi Tüketen Görünmez Trafik
Sunucu loglarınız çoğu site sahibinin asla okumadığı bir hikaye anlatır. Googlebot ile ara sıra görülen sahte tarayıcılar arasında, yeni bir trafik kategorisi sessizce bant genişliğinizin en büyük tüketicilerinden biri haline geldi: AI tarayıcıları.
Bu botlar sayfalarınızı bir arama motoru sonuç sayfası için dizine eklemiyor. İçeriğinizi AI modellerinin ondan öğrenmesi, alıntılaması veya kullanıcı sorgularına yanıt verirken başka kelimelerle ifade etmesi için okuyorlar. Bazıları bunu eğitim için yapar -- bir büyük dil modelini geliştirmek amacıyla metninizi bünyesine katar. Diğerleri canlı erişim için yapar -- bir kullanıcı içeriğinizin yanıtlayabileceği bir soru sorduğunda sayfalarınızı gerçek zamanlı olarak getirir. Bu iki amaç arasındaki fark işletmeniz, trafiğiniz ve rekabet konumunuz için gerçek sonuçlar doğurur.
AI tarayıcı ekosistemi parçalı, yetersiz belgelenmiş ve hızla değişiyor. GPTBot Ağustos 2023'te çıktı ve zaten birden fazla davranış değişikliği geçirdi. ClaudeBot kısa süre sonra ortaya çıktı. Bytespider web'deki en agresif tarayıcılardan biri. Ve bunlar yalnızca bilinen olanlar.
Bu makale canlı bir referanstır. 2026'da aktif olan bilinen her AI tarayıcısını belgeliyoruz: user-agent string'i, bağlı olduğu şirket, içeriğinizle ne yaptığı, robots.txt'ye uyup uymadığı ve ne kadar agresif taradığı.
Ayrıca bakın: AI Tarayıcıları İçin robots.txt Nasıl Yapılandırılır (Google'ı Engellemeden)
Eğitim Botları ve Erişim Botları: Ayrımın Önemi
Her tarayıcıyı listelemeden önce iki temel kategoriyi anlamanız gerekiyor. Bu ayrım, AI botlarına izin verme veya engelleme konusundaki her kararınızı şekillendirir.
Eğitim tarayıcıları web içeriğini AI modellerini oluşturmak veya iyileştirmek için toplar. Metniniz bir eğitim veri setine girer, işlenir ve modelin bir parçası haline gelir. Eğitildikten sonra modelin o bilgiye referans vermek için sitenizi tekrar ziyaret etmesine gerek kalmaz. Trafik almaz, atıf almaz, geri bağlantı almazsınız. Örnekler: GPTBot (eğitim modu), Google-Extended, CCBot, Bytespider.
Erişim tarayıcıları bir kullanıcı soru sorduğunda içeriğinizi gerçek zamanlı olarak getirir. AI platformu sayfanıza bir bot gönderir, ilgili bölümü okur ve onu (genellikle bir alıntıyla birlikte) üretilen yanıta dahil eder. Bu, arama motorlarının çalışma şekline daha yakındır; fark, kullanıcının bir bağlantı listesi yerine sentezlenmiş bir yanıt görmesidir. Örnekler: PerplexityBot, OAI-SearchBot, ChatGPT-User.
Bazı botlar her iki amaca da hizmet eder. GPTBot hem eğitim verisi toplar hem de ChatGPT için canlı erişimi destekler. Bu çift rol, engelleme kararlarını karmaşık hale getirir. GPTBot'u engellemek içeriğinizi eğitim kullanımından korur, ancak ChatGPT canlı yanıtlarındaki görünürlüğünüzü de azaltabilir.
Eğitim botları içeriğinizi modellerini oluşturmak için alır. Erişim botları belirli soruları yanıtlamak için içeriğinizi getirir, bazen atıfla birlikte. İlki bant genişliğinizi karşılıksız tüketir. İkincisi marka bilinirliği sağlayabilir. robots.txt stratejiniz bu farkı yansıtmalıdır.
Kapsamlı AI Tarayıcı Referans Tablosu
2026'da aktif olan her büyük AI tarayıcısı aşağıdadır. Her bot için user-agent string'i, bağlı şirket, birincil amaç, robots.txt uyumluluğu ve tarama davranışı notları listelenmektedir.
| Bot Adı | User-Agent | Şirket | Amaç | robots.txt'ye Uyar mı | Notlar |
|---|---|---|---|---|---|
| GPTBot | GPTBot |
OpenAI | Eğitim + erişim | Evet | Birincil OpenAI tarayıcısı. Çift amaçlı. |
| OAI-SearchBot | OAI-SearchBot |
OpenAI | Canlı arama erişimi | Evet | ChatGPT arama özelliğini besler. |
| ChatGPT-User | ChatGPT-User |
OpenAI | Kullanıcı başlatlı gezinti | Evet | Kullanıcılar ChatGPT'den bir URL'yi ziyaret etmesini istediğinde devreye girer. |
| ClaudeBot | ClaudeBot |
Anthropic | Eğitim | Evet | Birincil Anthropic tarayıcısı. |
| anthropic-ai | anthropic-ai |
Anthropic | Eğitim (eski) | Evet | Eski tanımlayıcı, bazı loglarda hâlâ görünür. |
| Google-Extended | Google-Extended |
AI eğitimi (Gemini) | Evet | Googlebot'tan ayrıdır. Arama sıralamalarını etkilemez. | |
| PerplexityBot | PerplexityBot |
Perplexity | Canlı erişim | Evet | Atıflı gerçek zamanlı yanıtlar için sayfa getirir. |
| Bytespider | Bytespider |
ByteDance | Eğitim | İddia ediyor | Hacim olarak en agresif tarayıcılardan biri. |
| CCBot | CCBot/2.0 |
Common Crawl | Eğitim veri seti | Evet | Birçok AI şirketinin kullandığı açık veri seti. |
| Applebot-Extended | Applebot-Extended |
Apple | Apple Intelligence | Evet | Normal Applebot'tan ayrıdır. |
| cohere-ai | cohere-ai |
Cohere | Eğitim | Evet | Cohere dil modellerini besler. |
| Diffbot | Diffbot |
Diffbot | Yapısal veri çıkarımı | Kısmi | AI ürünleri için yapısal veri çıkarır. |
| FacebookExternalHit | FacebookExternalHit |
Meta | Meta AI özellikleri | Kısmi | Bağlantı önizleme oluşturmak için de kullanılır. |
| ImagesiftBot | ImagesiftBot |
Hive | Görsel analizi | Kısmi | AI sınıflandırması için görselleri işler. |
| Timpibot | Timpibot |
Timpi | Merkeziyetsiz arama | Evet | Daha küçük oyuncu, büyüyen varlık. |
| Amazonbot | Amazonbot |
Amazon | Alexa AI / alışveriş | Evet | Ürün ve bilgi taraması. |
| YouBot | YouBot |
You.com | Arama + AI yanıtlar | Evet | You.com AI aramasını besler. |
| PetalBot | PetalBot |
Huawei | Arama + AI | Evet | Huawei Petal Search'ü besler. |
Bu tablo sunucu loglarınızda en sık karşılaşacağınız botları kapsar. AI girişimlerinden ve araştırma kurumlarından gelen düzinelerce daha küçük, belgelenmemiş tarayıcı da mevcuttur. Burada, üzerinde aksiyon alınabilecek yeterli trafik hacmine ve tanımlanabilir user-agent'lara sahip olanlara odaklanıyoruz.
GPTBot: Herkesin Konuştuğu Bot
GPTBot, OpenAI'ın birincil web tarayıcısıdır ve Ağustos 2023'teki kamuya açıklanmasından bu yana en çok tartışılan AI botudur.
User-agent string: GPTBot/1.0
Ne yapar: GPTBot iki işlev görür. Birincisi, OpenAI modelleri (GPT-4, GPT-5 ve sonrası) için eğitim verisi toplamak amacıyla web'i tarar. İkincisi, modelin güncel bilgiye ihtiyaç duyduğunda ChatGPT için gerçek zamanlı içerik erişimini destekler. Bu çift amaç, onu basit izin ver/engelle kararları almayı en zor bot haline getirir.
Tarama davranışı: GPTBot isteklerini belgelenmiş IP aralıklarından gönderir (openai.com'da yayınlanmıştır). Tarama hızı siteye göre önemli ölçüde değişir. Güncel içeriğe sahip yüksek otoriteli alan adları günde birden fazla ziyaret görür. Daha küçük siteler haftalık veya daha seyrek taramalar görebilir.
robots.txt uyumluluğu: GPTBot robots.txt Disallow direktiflerine uyar. Ancak GPTBot'u engellemek yalnızca gelecekteki taramayı engeller. Engelleme öncesi zaten toplanan içerik OpenAI veri setlerinde kalır.
Dikkat edilmesi gerekenler: 2024'ten bu yana OpenAI, OAI-SearchBot ve ChatGPT-User'ı ayrı tarayıcılar olarak tanıttı. GPTBot'u engelleyip bu ikisini ele almazsanız, ChatGPT arama ve gezinti özellikleri aracılığıyla içeriğinize hâlâ erişebilir. Tam OpenAI engellemesi için üç user-agent'ın tamamını ele alın.
GPTBot hem bir eğitim tarayıcısı hem de bir erişim tarayıcısıdır. Engellemek içeriğinizi eğitim kullanımından korur, ancak ChatGPT canlı yanıtlarındaki görünürlüğünüzü de azaltabilir. robots.txt aracılığıyla bir işleve izin verip diğerini engellemenin yolu yoktur.
ClaudeBot: Anthropic'in Eğitim Tarayıcısı
ClaudeBot, Anthropic'in web tarayıcısıdır ve Claude modelleri için eğitim verisi toplamak amacıyla kullanılır.
User-agent string: ClaudeBot/1.0
Ne yapar: ClaudeBot, Claude için eğitim veri setleri oluşturmak amacıyla web sayfalarını tarar. GPTBot'un aksine, ClaudeBot'un şu anda belgelenmiş bir canlı erişim modu yoktur. Birincil işlevi model eğitimi için veri toplamadır.
Tarama davranışı: ClaudeBot, GPTBot veya Bytespider'dan daha az agresiftir. Orta hızlarda tarar ve öncelikli olarak metin ağırlıklı, yüksek otoriteli sayfaları hedefler. Mevcut olduğunda crawl-delay direktiflerine uyar.
robots.txt uyumluluğu: ClaudeBot robots.txt'ye uyar. Anthropic ayrıca eski bir tanımlayıcı olan anthropic-ai user-agent'ını da onurlandırır, bu nedenle bu string'i kullanan mevcut kurallar hâlâ çalışır.
Dikkat edilmesi gerekenler: Anthropic, Claude'un web bağlantılı özelliklerini genişlettikçe ek tarayıcılar ortaya çıkabilir. Loglarınızda "anthropic" veya "claude" içeren yeni user-agent'ları izleyin.
PerplexityBot: Erişim Uzmanı
PerplexityBot, bu listedeki çoğu AI tarayıcısından farklıdır. Öncelikle bir erişim botudur, eğitim botu değil.
User-agent string: PerplexityBot
Ne yapar: Bir kullanıcı Perplexity'ye bir soru sorduğunda, PerplexityBot ilgili web sayfalarını gerçek zamanlı olarak getirir, yanıtı çıkarır ve kaynak atıflarıyla birlikte sunar. İçeriğiniz Perplexity yanıtlarında sitenize geri bağlantıyla birlikte görünür. Bu, herhangi bir AI tarayıcısının geleneksel arama motoru davranışına en yakın geldiği noktadır.
Tarama davranışı: PerplexityBot, zamanlanmış taramalar yerine kullanıcı sorguları tarafından tetiklenen talep üzerine tarama yapar. Büyük bir dizin tutmaz. Yüksek görünürlüklü sayfalar sık istekler alabilir; niş sayfalar yalnızca birisi eşleşen bir soru sorduğunda getirilir.
robots.txt uyumluluğu: PerplexityBot robots.txt'ye uyar. Engellemek, içeriğinizi Perplexity yanıtlarından kaldırır; bu da hem atıfı hem de yönlendirme trafiğini kaybetmek anlamına gelir.
PerplexityBot, engellemenin anında ve görünür bir maliyeti olan tek AI tarayıcısıdır. Eğitim botlarının aksine, PerplexityBot gerçek zamanlı atıf ve yönlendirme bağlantıları sağlar. Onu engellemek bir trafik kaynağını engellemektir.
Google-Extended: Aramayı AI Eğitiminden Ayırmak
Google-Extended, AI tarayıcı dünyasındaki en önemli ayrımlardan biridir ve en sık yanlış anlaşılanlardan biri.
User-agent string: Google-Extended
Ne yapar: Google-Extended, içeriğinizi özellikle AI model eğitimi (Gemini) için tarar. Geleneksel arama dizinlemeyi ve Google AI Overviews'u yöneten Googlebot'tan tamamen ayrıdır.
Kritik ayrım: Google-Extended'ı engellemek Google arama sıralamalarınızı ETKİLEMEZ. İçeriğinizi Google AI Overviews'tan KALDIRMAZ. Yalnızca içeriğinizin Gemini model eğitiminde kullanılmasını engeller. Öte yandan Googlebot'u engellemek sizi Google aramasından tamamen çıkarır. Bu karışıklık gerçek hasara yol açmıştır. AI eğitimini engellemeyi amaçlayan site sahipleri yanlışlıkla Googlebot'u engelleyerek arama görünürlüklerini bir gecede yok etmiştir.
Tarama davranışı: Google-Extended, Google altyapısı tarafından belirlenen hızlarda tarar. robots.txt aracılığıyla sıklığını izin verme veya engellemenin ötesinde kontrol edemezsiniz.
Bytespider: Yüksek Hacimli Eğitim Tarayıcısı
Bytespider, ByteDance'ın web tarayıcısıdır ve istek hacmi açısından internetteki en agresif botlardan biridir.
User-agent string: Bytespider
Ne yapar: Bytespider, ByteDance AI ürünleri için eğitim verisi toplar. Milyonlarca sitede yüksek hacimlerle tarar.
Tarama davranışı: Site operatörlerinden gelen birden fazla rapor, Bytespider'ın tek tek sitelere günde on binlerce istek gönderdiğini belgeliyor. Crawl-delay direktiflerini görmezden geldiği ve orantısız sunucu kaynakları tükettiği rapor edilmiştir. Bazı hosting sağlayıcıları bant genişliği endişeleri nedeniyle Bytespider'ı varsayılan engelleme listelerine eklemiştir.
robots.txt uyumluluğu: ByteDance, Bytespider'ın robots.txt'ye uyduğunu belirtir. Pratikte uyumluluk raporları karışıktır. Bazı site sahipleri Disallow kuralları ekledikten sonra taramanın devam ettiğini bildirmiştir, ancak bu kasıtlı uyumsuzluk yerine önbellek gecikmelerini yansıtıyor olabilir.
Bytespider, engellemenin neredeyse evrensel olarak önerildiği tek tarayıcıdır. İngilizce sorgular için doğrudan görünürlük avantajı sağlamaz ve agresif tarama hızı sunucu kaynaklarını tüketir. Engellememek için özel bir nedeniniz olmadığı sürece engelleyin.
CCBot: Açık Veri Seti Tarayıcısı
CCBot, dünyanın en büyük açık web arşivlerinden birini sürdüren bir kar amacı gütmeyen kuruluş olan Common Crawl'u besler.
User-agent string: CCBot/2.0
Ne yapar: CCBot, Common Crawl veri setini oluşturmak için web'i tarar. Common Crawl, birçok AI şirketinin eğitim verisi olarak kullandığı devasa bir açık arşivdir. "AI modelleri internetle eğitildi" dendiğinde, birincil veri kaynağı genellikle Common Crawl'dur.
AI için neden önemlidir: CCBot'u engellemek yalnızca Common Crawl'u etkilemez. İçeriğinizin Common Crawl'u eğitim kaynağı olarak kullanan herhangi bir AI modelinde görünme olasılığını da azaltır; bu da çok sayıda açık kaynak ve ticari modeli kapsar.
robots.txt uyumluluğu: CCBot robots.txt'ye uyar.
Applebot-Extended: Apple Intelligence
Applebot-Extended, Apple'ın AI'a özel tarayıcısıdır ve Siri ile Safari önerileri için kullanılan standart Applebot'tan ayrıdır.
User-agent string: Applebot-Extended
Ne yapar: Applebot-Extended, son iOS ve macOS sürümlerindeki cihaz üzeri AI yetenekleri dahil Apple Intelligence özellikleri için veri toplar.
Tarama davranışı: Diğer AI tarayıcılarının çoğundan daha az agresiftir. Apple tarihsel olarak tarama hızları konusunda muhafazakar olmuştur.
robots.txt uyumluluğu: robots.txt'ye uyar. Apple, Applebot-Extended'ı standart Applebot'tan bağımsız olarak izin verme veya engelleme konusunda net belgelemeye sahiptir.
Sitenizdeki AI Tarayıcı Etkinliğini Nasıl İzlersiniz
Hangi botların var olduğunu bilmek birinci adımdır. Hangilerinin gerçekten sitenizi ziyaret ettiğini bilmek ikinci adımdır. Etkili bir şekilde nasıl izleyeceğiniz aşağıdadır.
Sunucu Log Analizi
Web sunucusu erişim loglarınız her istek için bir user-agent alanı içerir. Bilinen AI tarayıcı user-agent'larını filtreleyin:
grep -E "GPTBot|ClaudeBot|PerplexityBot|Bytespider|CCBot|Google-Extended|OAI-SearchBot" /var/log/access.log | awk '{print $14}' | sort | uniq -c | sort -rn
Bu, bot başına istek sayısını sıklığa göre sıralanmış şekilde verir. Trendleri tespit etmek ve yeni gelenleri yakalamak için haftalık çalıştırın.
Nelere Dikkat Etmeli
Beklenmeyen hacim artışları. Bir bot aniden normalden 10 kat fazla istek yapmaya başlıyorsa araştırın. Bot tarafında bir tarama yapılandırma değişikliği olabilir veya bilinen bir user-agent'ı taklit eden yeni bir bot olabilir.
Yeni user-agent string'leri. AI şirketleri her zaman duyuru yapmadan yeni tarayıcılar çıkarır. Tanımadığınız ve içerik sayfalarına (yalnızca robots.txt'ye değil) tekrarlayan istekler yapan herhangi bir user-agent araştırılmaya değerdir.
Engellenen botların hâlâ taraması. Belirli bir bot için Disallow kuralı eklediyseniz ama hâlâ loglarınızda görüyorsanız, CDN'nizin eski robots.txt'yi önbelleğe alıp almadığını kontrol edin. Ayrıca botun kurallarınızdaki doğru user-agent string'iyle eşleşip eşleşmediğini doğrulayın.
Tarama-görünürlük oranı. Bazı botlar yoğun şekilde tarar ama görünür bir çıktı üretmez. İçeriğiniz platformlarında asla görünmez. Bu, erişim avantajı olmayan saf eğitim taramasının işaretidir.
Loglarınızı minimum ayda bir izleyin. AI tarayıcı ekosistemi, üç ay önceki bir kural setinin boşluklara sahip olabileceği kadar hızlı değişir. Yeni botlar ortaya çıkar, mevcut olanlar davranış değiştirir ve daha önce iyi davranan tarayıcılar zaman zaman kurallara uymamaya başlar.
Belki Bilmediğiniz Tarayıcılar
Büyük oyuncuların ötesinde, takip etmeye değer birkaç daha az bilinen AI tarayıcısı bulunmaktadır.
YouBot (You.com): You.com AI arama motorunu besler. Orta düzeyde tarama hızları. Arama sonuçlarında atıflar sağlar. Engellemek sizi You.com yanıtlarından kaldırır.
PetalBot (Huawei): Google'ın kullanılamadığı bölgelerde önemli pazar payına sahip Huawei Petal Search için tarar. Hedef kitleniz Çin veya Asya'nın belirli bölgelerindeki kullanıcıları kapsıyorsa ilgilidir.
Amazonbot (Amazon): Alexa AI özellikleri ve Amazon ürün bilgisi için tarar. Sesli asistan yanıtlarında görünmek isteyen e-ticaret markaları için ilgilidir.
cohere-ai (Cohere): Cohere'in kurumsal AI modelleri için eğitim verisi toplar. Birçok B2B uygulaması Cohere üzerine kurulmuştur, bu nedenle Cohere ile doğrudan etkileşiminiz olmasa bile içeriğiniz kurumsal araçlarda ortaya çıkabilir.
Diffbot (Diffbot): Web sayfalarından bilgi grafikleri ve AI ürünlerinde kullanılmak üzere yapısal veri çıkarır. Ham metin eğitimi için değil, entity çıkarımı ve ilişki haritalama için tarar.
Önerilen robots.txt Şablonu
Yukarıda belgelenen botlara dayanarak, agresif yalnızca eğitim tarayıcılarını engellerken AI görünürlüğünü maksimize eden bir başlangıç şablonu aşağıdadır:
# Arama motorları
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
# AI tarayıcıları: izinli (görünürlük veya atıf sağlar)
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Applebot-Extended
Allow: /
# AI tarayıcıları: engelli (agresif, doğrudan görünürlük avantajı yok)
User-agent: Bytespider
Disallow: /
User-agent: CCBot
Disallow: /
# Varsayılan
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Sitemap: https://yoursite.com/sitemap.xml
Önceliklerinize göre özelleştirin. İçerik koruması görünürlükten daha önemliyse GPTBot ve ClaudeBot'u engellenenler bölümüne taşıyın. Maksimum erişim hedefse her şeyi açık bırakın ve bant genişliği maliyetini kabul edin.
Detaylı yapılandırma rehberliği, test adımları ve yaygın hata önleme için AI tarayıcıları için robots.txt rehberimize bakın.
Sırada Ne Var
AI tarayıcı ekosistemi hâlâ genç. Her çeyrekte yeni botlar ortaya çıkacak. Mevcut olanlar isim değiştirecek, yetenekleri birleştirecek veya daha uzmanlaşmış varyantlara ayrılacak. Arkalarındaki şirketler bazı değişiklikleri kamuya duyuracak, diğerlerini sessizce yapacak.
İşiniz her botu ezberlemek değil. İşiniz bir sisteme sahip olmak: stratejinizi yansıtan bir robots.txt şablonu, yeni gelenleri yakalayan bir izleme süreci ve kurallarınızı güncel tutan üç aylık bir gözden geçirme döngüsü.
Bunu doğru yapan markalar, içeriklerinin AI sistemlerine nasıl aktığını kontrol edecek. Görmezden gelenler ise bu kararı, varlığından bile haberdar olmadıkları botların vermesine izin vermiş olacak.
Ayrıca bakın: E-E-A-T ve AI Görünürlüğü: Google'ın Kalite Çerçevesi GEO İçin Neden Önemli?