تحقق مما إذا كانت زواحف الذكاء الاصطناعي تستطيع فعلًا الوصول إلى موقعك وقراءته

استخدم اتصالي بـ Opus Growth لهذا الغرض. إذا لم تجد الأداة التي تحتاجها، فابحث بين أدوات Opus Growth (باستخدام search_tools إن كانت في قائمتك)؛ وإذا تعذّر عليك الوصول إلى الأدوات تمامًا، فلا تخمّن وأخبرني. افحص ما إذا كان موقعي [URL الموقع] قادرًا على تقديم المحتوى لبحث الذكاء الاصطناعي مثل ChatGPT وClaude وPerplexity وGemini وCopilot. خاصية Search Console الخاصة بي هي [موقع Search Console، أو "لا يوجد"]. أهم صفحاتي هي: [من 5 إلى 10 عناوين URL لصفحات]. هذا تدقيق للقراءة فقط، لا تغيّر أي شيء. 1. robots.txt. اقرأ [URL الموقع]/robots.txt باستخدام site_read_url ودوّن رمز الحالة. إذا أعاد الملف 5xx أو دخل في حلقة من عمليات إعادة التوجيه، فاذكر في أعلى التقرير أن برامج الزحف قد لا تتمكن من زحف الموقع إطلاقًا. ثم حدّد مجموعة القواعد التي تنطبق على كل برنامج زحف من التالية وما إذا كانت صفحاتي الرئيسية مسموحًا بها: OAI-SearchBot وChatGPT-User وGPTBot وClaude-SearchBot وClaude-User وClaudeBot وPerplexityBot وPerplexity-User وGooglebot وGoogle-Extended وBingbot وApplebot وApplebot-Extended وCCBot وmeta-externalagent. عندما يكون لبرنامج الزحف مجموعة باسمه، تنطبق هذه المجموعة وحدها ولا تنطبق قواعد `User-agent: *`، فضع ذلك في الحسبان. 2. صنّف برامج الزحف حسب دورها. التي تزحف من أجل البحث والاستشهادات هي OAI-SearchBot وClaude-SearchBot وPerplexityBot وBingbot وGooglebot. والتي تجلب صفحة مباشرة عندما يطرح المستخدم سؤالًا هي ChatGPT-User وClaude-User وPerplexity-User. والتي تجمع بيانات التدريب هي GPTBot وClaudeBot وGoogle-Extended وApplebot-Extended وCCBot وmeta-externalagent. ضع علامة على أي برنامج زحف بحث محظور بأعلى درجة خطورة، لأن الموقع لا يمكن الاستشهاد به في إجابات ذلك المساعد. لا تعامل برنامج زحف تدريب محظورًا على أنه خطأ، بل صِفه بأنه خيار. لاحظ أن Google-Extended لا يؤثر في بحث Google ولا في AI Overviews، ويتحكم فقط في ما إذا كان المحتوى يُستخدم في نماذج Gemini. 3. رموز الحالة والترويسات. اقرأ كل صفحة رئيسية باستخدام site_read_url مع max_bytes=0. أبلغ فقط عن رمز الحالة وسلسلة إعادة التوجيه (redirects) وترويستي `x-robots-tag` و`content-type` وقيمة `server`، وليس عن كامل الترويسات. ضع علامة على سلاسل إعادة التوجيه الأطول من قفزتين، وعلى أي عنوان URL نهائي يختلف عن العنوان الأساسي (canonical)، وعلى أي ترويسة noindex أو nosnippet. إذا أعادت الصفحة 403 أو 429 أو 503 وكانت قيمة server تدل على طبقة حماية مثل Cloudflare أو Sucuri أو Akamai، فاذكر أنه قد يكون حظرًا للبوتات. 4. المحتوى بدون JavaScript. اقرأ الصفحات الرئيسية باستخدام site_read_url مع text=true. هذا العرض مستخرج من HTML الذي يرسله الخادم، وهو ما يراه برنامج زحف الذكاء الاصطناعي الذي لا ينفّذ JavaScript. إذا أشار الرد إلى أن truncated تساوي true، فاقرأ الصفحة مرة أخرى مع max_bytes=1000000، وإلا ستظن أن المحتوى قرب أسفل الصفحة مفقود. لكل صفحة، اذكر ما إذا كان H1 والفقرة الأولى من المحتوى الرئيسي وتفاصيل السعر أو الخدمة وبيانات الاتصال موجودة في ذلك النص، وما إذا كانت internal_links تحتوي على روابط إلى صفحات القائمة الرئيسية. 5. المحتوى مع JavaScript. قِس أهم ثلاث صفحات باستخدام seo_technical_audit الذي يعرض الصفحة مع JavaScript. ضع علامة منفصلة على أي صفحة يختلف فيها العنوان أو H1 أو اللغة بين العرضين. غالبًا ينتج اختلاف اللغة عن إعادة توجيه تلقائية بحسب بلد الزائر أو لغة متصفحه، ولأن معظم برامج زحف الذكاء الاصطناعي تأتي من خوادم في الولايات المتحدة، فقد يجعلها ذلك ترى نسخة اللغة الخطأ. 6. ما تراه Google. إذا كانت لدي خاصية Search Console، ففحص الصفحات الرئيسية في استدعاء واحد لـ gsc_inspect_urls: حالة التغطية وتاريخ آخر زحف وعنوان canonical الذي اختارته Google. اذكر أي صفحة رئيسية محظورة بواسطة robots.txt أو تظهر بحالة "تم الزحف إليها، لكن لم تتم فهرستها حاليًا". اذكر خرائط الموقع المُرسلة مع تحذيراتها وأخطائها باستخدام gsc_sitemaps. 7. ملفات الاكتشاف. اقرأ sitemap.xml وllms.txt باستخدام site_read_url. تحقق من وجود صفحاتي الرئيسية في خريطة الموقع ومن أن قيم lastmod تبدو حقيقية، وأخبرني إذا كانت كل عناوين URL تحمل التاريخ نفسه. إذا كان llms.txt غير موجود، فسجّل ذلك كثغرة لكنها غير حرجة، لأن أيًّا من محركات بحث الذكاء الاصطناعي الكبرى لم يصرّح رسميًا بأنه يستخدم هذا الملف كإشارة ترتيب أو استشهاد. اذكر حدود الأدوات بوضوح. تُرسل site_read_url طلبها كمتصفح ولا تستطيع انتحال هوية GPTBot أو ClaudeBot، لذا فإن قاعدة جدار حماية تحظر باسم برنامج الزحف فقط لن تظهر في هذا التدقيق. إذا كنت أستخدم CDN أو جدار حماية، فذكّرني بالتحقق في لوحة التحكم الخاصة به من وجود إعداد يحظر برامج زحف الذكاء الاصطناعي (في Cloudflare، "AI Crawl Control" أو "Block AI bots"). إذا كان الموقع مستضافًا على Opus Growth، فلا توجّهني إلى أي لوحة تحكم CDN، وإذا رأيت حظرًا، فاقترح الإبلاغ عنه باستخدام report_issue. نسّق المخرجات هكذا. أولًا ملخص من ثلاث جمل: هل موقعي مفتوح لبحث الذكاء الاصطناعي، وإن لم يكن، فما أكبر عائق. ثم جدول برامج الزحف: برنامج الزحف، الدور، قرار robots.txt، سطر القاعدة الذي يحسم القرار، درجة الخطورة. ثم جدول الصفحات: عنوان URL، رمز الحالة، إعادة التوجيه، x-robots-tag، وجود H1 والفقرة الأولى في النص بدون JavaScript (نعم أو لا)، الفرق عن العرض مع JavaScript، حالة التغطية في Google. وأنهِ بقائمة إصلاحات مرتبة حسب الخطورة، لكل منها دليله ومن ينبغي أن ينفذه (أنا، مطوّر، مزوّد الاستضافة). وحيثما لا تكفي البيانات للوصول إلى استنتاج، فلا تخمّن، بل اذكر ما هو ناقص.