Web sitesi

Yapay zeka tarayıcıları için robots.txt politikasını belirle ve güvenle yayınla

Arama, kullanıcı adına getirme ve model eğitimi rollerini ayırarak sitenin hangi yapay zeka tarayıcısına açık olacağına karar verdirir. Mevcut kuralları koruyan yeni robots.txt'yi önizler, onaydan sonra hosting sitesine ya da WordPress'e yazar ve canlıda doğrular.

Ne zaman kullanılır

Sitenizin yapay zeka aramalarında kaynak gösterilmesini istiyor ama içeriğinizin model eğitiminde kullanılmasına ayrı karar vermek istiyorsanız ya da robots.txt'nizin yapay zeka tarayıcılarına ne söylediğini bilmiyorsanız.

Sonunda ne alırsınız

Her yapay zeka tarayıcısı için önce ve sonra kararını gösteren bir tablo, mevcut özel alan kurallarını koruyan yeni bir robots.txt, onayınızdan sonra canlıya alınmış ve geri okunarak doğrulanmış dosya ve geri dönülebilecek sürüm bilgisi.

Hesabımda değişiklik yapar mı?

Yalnızca onayınızla. Asistan her değişikliğin önce önizlemesini gösterir ve sizden onay bekler.

Birlikte çalıştığı hesaplar

SEO Intelligence, WordPress

Göndermeden önce doldurun

[site adresi][Opus Growth hosting ya da WordPress]
Sitemin [site adresi] robots.txt dosyasını yapay zeka tarayıcıları için bilinçli bir politikaya göre yeniden düzenle. Site türü: [Opus Growth hosting ya da WordPress]. Tercihim: [A: hepsine açık / B: arama açık, eğitim kapalı / C: özel, açıkla]. 1. Mevcut durumu oku. site_read_url ile [site adresi]/robots.txt dosyasını oku. Hosting sitesindeysem site_read_file ile robots.txt dosyasını da oku ve canlıdaki ile aynı olduğunu doğrula. WordPress'teysem wordpress_seo ile hangi SEO eklentisinin çalıştığını öğren ve wordpress_snippet action='list' ile robots.txt'ye dokunan bir parçacık olup olmadığına bak. Mevcut her kural grubunu, Disallow satırlarını ve Sitemap satırlarını listele. 2. Rolleri bana anlat. Tarayıcıları üç gruba ayır ve her biri için tek cümleyle ne kaybedip ne kazanacağımı söyle: 1. Arama ve alıntı: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Bingbot, Googlebot, Applebot. Bunları kapatmak sitenin o yapay zekanın cevaplarında kaynak olarak gösterilmesini engeller. 2. Kullanıcı adına anlık getirme: ChatGPT-User, Claude-User, Perplexity-User. Bir kullanıcı sayfamın bağlantısını verdiğinde ya da asistan cevap için sayfayı açtığında bunlar gelir. Sağlayıcıların belgelerine göre kullanıcının başlattığı bu isteklerde robots.txt her durumda uygulanmayabilir, bu yüzden kural yazmanın garanti olmadığını belirt. 3. Model eğitimi: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, meta-externalagent. Bunları kapatmak içeriğin gelecekteki model eğitimlerinde kullanılmasını sınırlar, zaten eğitilmiş modellerden içeriği silmez. Google-Extended'ı kapatmak Google Arama'yı ve AI Overviews'u etkilemez. 3. Taslağı yaz. Tercihime göre yeni robots.txt'yi hazırla ve şu kurallara uy: 1. Bir tarayıcı için kendi adıyla grup yazarsan o tarayıcı artık `User-agent: *` grubunu okumaz. Bu yüzden * grubundaki her Disallow satırını (yönetim paneli, sepet, arama sonuçları gibi) adlandırılmış her gruba da kopyala, yoksa özel alanları farkında olmadan açarsın. 2. CSS, JavaScript ve görsel dosyalarını engelleme, çünkü tarayıcılar sayfayı bunlarla işler. 3. Mevcut Sitemap satırlarını koru, eksikse site haritasının tam adresini ekle. 4. Arama rolündeki bir tarayıcıyı benim açık isteğim olmadan kapatma. 5. Rakip SEO tarayıcılarına (AhrefsBot, SemrushBot gibi) dokunma, bunu ben ayrıca istemedikçe bu çalışmanın kapsamında değil. 4. Önizleme göster. Eski ve yeni dosyayı satır satır karşılaştır ve her tarayıcı için önce ve sonra kararını bir tabloda göster: tarayıcı, rol, eski karar, yeni karar. Onayımı bekle. 5. Onaydan sonra uygula. 1. Hosting sitesi: site_write_file ile robots.txt'yi yaz. Platform her yazmadan önce sürüm kaydı alır, site_versions ile geri dönülebilecek sürümü bana yaz. 2. WordPress: dosya fiziksel olarak sunucuda yoksa WordPress robots.txt'yi kendisi üretir ve `robots_txt` filtresi bunu değiştirebilir. wordpress_snippet ile bu filtreyi kullanan bir PHP parçacığı oluştur, konum 'everywhere' olsun. Parçacık pasif oluşur, kodu bana göster, onayımla etkinleştir. Önbellek eklentisi varsa wordpress_purge_cache ile önbelleği temizle. 6. Geri okuyup doğrula. site_read_url ile robots.txt'yi tekrar oku ve yeni içeriğin canlıda olduğunu göster. WordPress'te içerik değişmediyse sunucuda fiziksel bir robots.txt dosyası vardır ve filtre çalışmaz. Bu durumda parçacığı kapat ve dosyanın SEO eklentisinin dosya düzenleyicisinden (Yoast'ta Araçlar, Dosya düzenleyici; Rank Math'te Genel Ayarlar, robots.txt düzenle) ya da hosting panelinden nasıl değiştirileceğini bana adım adım anlat. Sonunda iki cümlelik bir not yaz: değişikliğin etkisi tarayıcılar dosyayı yeniden okuyunca başlar (genelde bir gün içinde), ve bot adına göre engelleyen bir CDN ya da güvenlik duvarı kuralı varsa robots.txt tek başına yetmez.

Örnek sonuç

Bu promptun vereceği çıktının bir örneğidir. Yapısı araçların gerçek çıktısına dayanır, rakamlar ve adlar kurgusaldır.

Örnek çıktı (kurgusal bir site üzerinden, gerçek müşteri verisi değildir)

Mevcut dosyada iki grup var: User-agent: * (Disallow: /panel/, /sepet/) ve User-agent: GPTBot (Disallow: /). Tercihiniz B: arama açık, eğitim kapalı.

TarayıcıRolEski kararYeni karar
OAI-SearchBotAramaİzinliİzinli
Claude-SearchBotAramaİzinliİzinli
PerplexityBotAramaİzinliİzinli
ChatGPT-UserKullanıcıİzinliİzinli
GPTBotEğitimEngelliEngelli
ClaudeBotEğitimİzinliEngelli
Google-ExtendedEğitimİzinliEngelli
CCBotEğitimİzinliEngelli

Dikkat: eski dosyadaki GPTBot grubunda /panel/ ve /sepet/ satırları yoktu. Bu sorun bu grupta zararsızdı çünkü grup tüm siteyi kapatıyordu, ancak yeni dosyada adlandırılmış her gruba bu iki satır da yazıldı.

Onayınızdan sonra robots.txt site_write_file ile yazıldı. site_read_url ile canlıda okundu, 200 döndü ve yeni içerik görünüyor. Geri dönmek isterseniz site_versions listesindeki 14:02 tarihli sürüm eski dosyayı içeriyor.

Not: tarayıcılar dosyayı genelde bir gün içinde yeniden okur. Bot adına göre engelleyen bir güvenlik duvarı kuralı varsa robots.txt tek başına yetmez.

İlgili aramalar

Bu promptlar, yapay zeka asistanınız Opus Growth ile hesaplarınıza bağlıyken en iyi sonucu verir.

Hesaplarınızı ücretsiz bağlayın

Diğer promptlar

Web sitesiOnayınızla değişiklik yaparCanlı demo

Uzman ya da danışman için dergi tadında, rehber bölümü ve yazar şeması olan bir site kur

Bir uzmanın sitesini dergi kapağı gibi bir anasayfa, uzun rehber yazıları ve yazar künyesiyle kurdurur. Serif tipografi, Article ve Person şeması, tarihli ve kaynaklı yazılarla hem okunur hem yapay zeka cevaplarında alıntılanabilir bir yayın üretir.

Ne zaman kullanılırDanışman, uzman ya da tek kişilik bir bilgi işi yapıyorsanız ve sitenizin bir broşür değil, uzmanlığınızı yazılarla gösteren bir yayın gibi okunmasını istediğinizde.

SEO Intelligence, Search Console
Web sitesiOnayınızla değişiklik yaparCanlı demo

Köklü bir aile işletmesi için klasik görünümlü ama modern standartlarda bir site kur

Üç kuşaktır süren bir üretici için eski etiket ve dükkan tabelası havasında, çerçeveli ve kağıt dokulu bir site kurdurur. Görünüm eski, altyapı yeni: mobil öncelikli, JavaScript içermeyen, yerel fontlu, WebP, Product ve HowTo şeması.

Ne zaman kullanılırLokum, zeytinyağı, peynir ya da bakır gibi kuşaklardır süren bir zanaatı satıyorsanız ve sitenizin bu geçmişi taşıyan klasik bir görünümle, ama hızdan ve erişilebilirlikten ödün vermeden açılmasını istediğinizde.

SEO Intelligence, Search Console
Web sitesiOnayınızla değişiklik yaparCanlı demo

Hukuk ya da mali müşavirlik bürosu için güven sinyalleri güçlü İsviçre-minimal site kur

Katı ızgaralı, tek font ailesiyle hiyerarşi kuran, hareketsiz bir büro sitesi kurdurur. Uzman künyeleri, tarihli ve kaynaklı bilgi notu, meslek kuralına uygun dil ve Person şemasıyla YMYL alanındaki güven sinyallerini sayfaya koyar.

Ne zaman kullanılırBir avukatlık, mali müşavirlik ya da benzeri bir meslek bürosu için, ciddi ve sade görünen, meslek kurallarına takılmayan ve uzmanlığını kanıtlayan bir site istediğinizde.

SEO Intelligence, Search Console
Web sitesiOnayınızla değişiklik yaparCanlı demo

JavaScript kullanmayan, çok sayfalı kurumsal bir site kur ve 100 puanla teslim et

Mimarlık, mühendislik ya da danışmanlık gibi kurumsal işler için hareketsiz, hızlı ve erişilebilir bir site kurdurur. Menü ve alt bilgi statik HTML, fontlar ve CSS kendi sunucunda, her sayfa ölçülerek teslim edilir.

Ne zaman kullanılırHızın ve erişilebilirliğin süsten önemli olduğu kurumsal bir işletme için, animasyonsuz ve JavaScript yüklemeyen çok sayfalı bir site istediğinizde.

SEO Intelligence, Search Console