Yapay zeka tarayıcılarının sitene gerçekten erişip erişemediğini denetle

Sitemin [site adresi] ChatGPT, Claude, Perplexity, Gemini ve Copilot gibi yapay zeka aramalarına içerik verebildiğini kontrol et. Search Console mülküm: [Search Console mülkü, yoksa "yok"]. En önemli sayfalarım şunlar: [5 ila 10 sayfa adresi]. Bu yalnızca okuma amaçlı bir denetim, hiçbir şeyi değiştirme. 1. robots.txt. site_read_url ile [site adresi]/robots.txt dosyasını oku ve durum kodunu yaz. Dosya 5xx dönüyorsa ya da yönlendirme döngüsüne giriyorsa tarayıcıların siteyi hiç taramayabileceğini en üstte belirt. Sonra şu tarayıcıların her biri için hangi kural grubunun geçerli olduğunu ve önemli sayfalarıma izin verilip verilmediğini çıkar: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, Claude-User, ClaudeBot, PerplexityBot, Perplexity-User, Googlebot, Google-Extended, Bingbot, Applebot, Applebot-Extended, CCBot, meta-externalagent. Bir tarayıcının kendi adıyla yazılmış bir grubu varsa yalnız o grup geçerlidir ve `User-agent: *` altındaki kurallar ona uygulanmaz, bunu hesaba kat. 2. Tarayıcıları rolüne göre ayır. Arama ve alıntı için tarayanlar OAI-SearchBot, Claude-SearchBot, PerplexityBot, Bingbot ve Googlebot'tur. Kullanıcı soru sorduğunda sayfayı anlık getirenler ChatGPT-User, Claude-User ve Perplexity-User'dır. Model eğitimi için veri toplayanlar GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot ve meta-externalagent'tır. Arama rolündeki bir tarayıcı engelliyse bunu en yüksek önemde işaretle, çünkü site o yapay zekanın cevaplarında kaynak olarak gösterilemez. Eğitim tarayıcılarının engellenmesini hata sayma, bunun bir tercih olduğunu yaz. Google-Extended'ın Google Arama'yı ve AI Overviews'u etkilemediğini, yalnız içeriğin Gemini modellerinde kullanılmasını yönettiğini not et. 3. Durum kodu ve başlıklar. Önemli sayfaların her birini site_read_url ile max_bytes=0 vererek oku. Yalnız durum kodunu, yönlendirme zincirini (redirects), `x-robots-tag` ve `content-type` başlığını ve `server` değerini raporla, ham başlık listesini aktarma. İkiden uzun yönlendirme zincirini, canonical ile aynı olmayan son adresi, noindex ya da nosnippet başlığını işaretle. Bir sayfa 403, 429 ya da 503 dönüyorsa ve sunucu bilgisinde Cloudflare, Sucuri, Akamai gibi bir koruma katmanı görünüyorsa bunun bir bot engeli olabileceğini yaz. 4. JavaScript olmadan görünen içerik. Önemli sayfaları site_read_url ile text=true vererek oku. Bu görünüm sunucunun gönderdiği HTML'den çıkarılır, yani JavaScript çalıştırmayan bir yapay zeka tarayıcısının gördüğü metindir. Yanıtta truncated true ise aynı sayfayı max_bytes=1000000 ile tekrar oku, yoksa sayfanın sonundaki içeriği eksik sanırsın. Her sayfa için H1'in, ana içeriğin ilk paragrafının, fiyat ya da hizmet bilgisinin ve iletişim bilgisinin bu metinde olup olmadığını, internal_links listesinde menüdeki ana sayfalara bağlantı bulunup bulunmadığını yaz. 5. JavaScript ile görünen içerik. En önemli üç sayfayı seo_technical_audit ile ölç, bu araç sayfayı JavaScript çalıştırarak işler. Başlık, H1 ya da dil iki görünümde farklıysa ayrıca işaretle. Dil farkı çoğu zaman ziyaretçinin ülkesine ya da tarayıcı diline göre otomatik yönlendirmeden kaynaklanır ve yapay zeka tarayıcılarının çoğu ABD'deki sunuculardan geldiği için sayfanın yanlış dil sürümünü görmesine yol açabilir. 6. Google'ın gördüğü. Search Console mülküm varsa önemli sayfaları gsc_inspect_urls ile tek çağrıda incele: kapsam durumu, son tarama tarihi ve Google'ın seçtiği canonical. robots.txt tarafından engellenen ya da "Taranmış, şu anda dizine eklenmemiş" görünen önemli sayfaları yaz. gsc_sitemaps ile gönderilmiş site haritalarını, uyarılarını ve hatalarını listele. 7. Keşif dosyaları. site_read_url ile sitemap.xml ve llms.txt adreslerini oku. Önemli sayfalarımın site haritasında olup olmadığını ve lastmod değerlerinin gerçekçi olup olmadığını kontrol et, bütün adreslerde aynı tarih varsa bunu yaz. llms.txt yoksa bunu eksik olarak not et ama kritik sayma, çünkü büyük yapay zeka arama motorlarının hiçbiri bu dosyayı bir sıralama ya da alıntı sinyali olarak kullandığını resmi olarak açıklamadı. Araçların sınırını açıkça söyle. site_read_url isteği tarayıcı kimliğiyle gönderir ve GPTBot ya da ClaudeBot kimliğini taklit edemez, bu yüzden yalnız tarayıcı adına göre engelleyen bir güvenlik duvarı kuralı bu denetimde görünmez. CDN ya da güvenlik duvarı kullanıyorsam panelde yapay zeka tarayıcılarını engelleyen bir ayar olup olmadığını (Cloudflare'de "AI Crawl Control" ya da "Block AI bots") kontrol etmemi hatırlat. Site Opus Growth hosting'de yayındaysa beni hiçbir CDN paneline yönlendirme, engel görürsen report_issue ile bildirilmesini öner. Çıktı şöyle olsun. Önce üç cümlelik özet: sitem yapay zeka aramalarına açık mı, değilse en büyük engel ne. Sonra tarayıcı tablosu: tarayıcı, rol, robots.txt kararı, kararı veren kural satırı, önem. Sonra sayfa tablosu: adres, durum kodu, yönlendirme, x-robots-tag, JavaScript'siz metinde H1 ve ilk paragraf (var veya yok), JavaScript'li görünümle fark, Google kapsam durumu. En sonda önem sırasına göre düzeltme listesi, her maddede kanıtı ve kimin yapacağı (ben, geliştirici, hosting sağlayıcısı). Bir sonuç için veri yoksa tahmin etme, neyin eksik olduğunu yaz.