حدّد سياسة robots.txt لزواحف الذكاء الاصطناعي وانشرها بأمان

استخدم اتصالي بـ Opus Growth لهذا الغرض. إذا لم تجد الأداة التي تحتاجها، فابحث بين أدوات Opus Growth (باستخدام search_tools إن كانت في قائمتك)؛ وإذا تعذّر عليك الوصول إلى الأدوات تمامًا، فلا تخمّن وأخبرني. أعد صياغة ملف robots.txt لموقعي [رابط الموقع] حول سياسة مدروسة لزواحف الذكاء الاصطناعي. نوع الموقع: [استضافة Opus Growth أو WordPress]. تفضيلي: [A: مفتوح للجميع / B: البحث مفتوح والتدريب مغلق / C: مخصص، اشرح]. 1. اقرأ الوضع الحالي. اقرأ [رابط الموقع]/robots.txt باستخدام site_read_url. إذا كان الموقع على استضافة Opus Growth، فاقرأ robots.txt أيضًا باستخدام site_read_file وتأكد من أنه يطابق ما هو منشور. إذا كان WordPress، فاكتشف أي إضافة SEO تديره باستخدام wordpress_seo وتحقق باستخدام wordpress_snippet action='list' مما إذا كان أي مقتطف يتدخل في robots.txt. اعرض كل مجموعة قواعد موجودة وكل سطر Disallow وكل سطر Sitemap. 2. اشرح الأدوار. صنّف الزواحف في ثلاث مجموعات وأخبرني في جملة واحدة لكل مجموعة ماذا أخسر أو أكسب: 1. البحث والاستشهاد: OAI-SearchBot وClaude-SearchBot وPerplexityBot وBingbot وGooglebot وApplebot. إغلاق هذه الزواحف يمنع الاستشهاد بالموقع كمصدر في إجابات ذلك المساعد. 2. الجلب المباشر نيابة عن المستخدم: ChatGPT-User وClaude-User وPerplexity-User. تصل هذه الزواحف عندما يشارك مستخدم رابطي أو عندما يفتح المساعد صفحة ليجيب. وفقًا لوثائق المزوّدين، قد لا ينطبق robots.txt في كل الحالات على هذه الطلبات التي يبدؤها المستخدم، لذا وضّح أن القاعدة هنا ليست ضمانًا. 3. تدريب النماذج: GPTBot وClaudeBot وGoogle-Extended وApplebot-Extended وCCBot وmeta-externalagent. إغلاق هذه الزواحف يحدّ من استخدام المحتوى في التدريب المستقبلي، لكنه لا يزيل المحتوى من النماذج المدرَّبة بالفعل. إغلاق Google-Extended لا يؤثر على بحث Google ولا على AI Overviews. 3. اكتب المسودة. جهّز ملف robots.txt الجديد وفق تفضيلي والتزم بهذه القواعد: 1. عندما تكتب مجموعة باسم زاحف محدد، لا يعود ذلك الزاحف يقرأ مجموعة `User-agent: *`. لذا انسخ كل أسطر Disallow من مجموعة * (منطقة الإدارة، السلة، نتائج البحث الداخلي وغيرها) إلى كل مجموعة مسمّاة، وإلا ستفتح مناطق خاصة دون أن تنتبه. 2. لا تحظر ملفات CSS أو JavaScript أو الصور، لأن الزواحف تحتاجها لعرض الصفحة. 3. أبقِ أسطر Sitemap الحالية، وأضف رابط خريطة الموقع الكامل إذا كان مفقودًا. 4. لا تغلق أي زاحف بحث ما لم أطلب ذلك صراحةً. 5. اترك زواحف SEO الخاصة بالمنافسين (مثل AhrefsBot وSemrushBot) كما هي ما لم أطلب غير ذلك، فهي خارج نطاق هذه المهمة. 4. اعرض معاينة. قارن الملف القديم بالجديد سطرًا بسطر، واعرض جدولًا يوضح القرار قبل وبعد لكل زاحف: الزاحف، الدور، القرار القديم، القرار الجديد. انتظر موافقتي. 5. طبّق بعد الموافقة. 1. الموقع المستضاف: اكتب robots.txt باستخدام site_write_file. تأخذ المنصة لقطة نسخة قبل كل كتابة، لذا أخبرني بأي نسخة من site_versions يمكنني العودة إليها. 2. WordPress: عندما لا يوجد ملف فعلي على الخادم، يولّد WordPress ملف robots.txt بنفسه ويمكن للفلتر `robots_txt` تغييره. أنشئ مقتطف PHP باستخدام wordpress_snippet يستخدم هذا الفلتر، بالموقع 'everywhere'. يُنشأ المقتطف غير مفعّل، لذا اعرض الكود وفعّله فقط بعد موافقتي. إذا كانت هناك إضافة تخزين مؤقت مفعّلة، فامسح الذاكرة المؤقتة باستخدام wordpress_purge_cache. 6. أعد القراءة. اقرأ robots.txt مرة أخرى باستخدام site_read_url وأظهر أن المحتوى الجديد منشور. في WordPress، إذا لم يتغير المحتوى، فهذا يعني وجود ملف robots.txt فعلي على الخادم ولا يستطيع الفلتر الوصول إليه. في هذه الحالة أوقف المقتطف وأرشدني إلى تغيير الملف من محرر الملفات في إضافة SEO (Yoast: Tools ثم File editor؛ Rank Math: General Settings ثم Edit robots.txt) أو من لوحة التحكم في الاستضافة. اختم بملاحظة من جملتين: يسري التغيير عندما تعيد الزواحف قراءة الملف (عادةً خلال يوم)، وإذا كانت قاعدة في CDN أو جدار حماية تحظر حسب اسم الزاحف، فلا يكفي robots.txt وحده.