برامج زحف الذكاء الاصطناعي: ما الذي تسمح به المواقع الخليجية في robots.txt

برامج زحف الذكاء الاصطناعي هي البرامج الآلية التي ترسلها شركات الذكاء الاصطناعي لقراءة المواقع، وكل واحد منها يقرر اليوم أمراً مختلفاً: هل تُستخدم صفحاتك في تدريب نموذج لغوي، أم يُستشهد بها في إجابة بحثية، أم يفتحها مساعد ذكي لأن مستخدماً طلب ذلك. وبالنسبة لأي نشاط خليجي يملك موقعاً بالعربية والإنجليزية، فإن قواعد ملف robots.txt التي تضعها لبرامج زحف الذكاء الاصطناعي تحدد أين يظهر محتواك في ChatGPT وGemini وClaude وPerplexity. يشرح هذا الدليل كيف تميّز بين هذه البرامج، وكيف تقرر ما تسمح به، وكيف تكتب قواعد تنفذ ما تقصده فعلاً.

كيف أعددنا هذا الدليل: في 17 أكتوبر 2026 قرأنا الوثائق الرسمية لكل برنامج من برامج زحف الذكاء الاصطناعي الواردة أدناه، كما نشرتها Google وOpenAI وAnthropic وPerplexity وCommon Crawl، إلى جانب المعيار الدولي الذي يعرّف ملف robots.txt. كل معلومة عن برنامج بعينه مرتبطة بصفحة الجهة المشغلة له. أما القرارات والأمثلة فمصدرها مراجعات ملفات robots.txt والسجلات التي نجريها على مواقع خليجية ثنائية اللغة.

ما هي برامج زحف الذكاء الاصطناعي، ولماذا تهم المواقع الخليجية؟

برامج زحف الذكاء الاصطناعي برامج تجلب صفحات الويب لصالح شركة ذكاء اصطناعي، لا لفهرس بحث تقليدي. بعضها يجمع الصفحات لتدريب النماذج اللغوية، وبعضها يبني فهرساً يستشهد به منتج بحث يعتمد على الذكاء الاصطناعي، وبعضها يجلب صفحة واحدة فقط لأن شخصاً طلب من مساعد ذكي قراءتها. والتعامل مع برامج زحف الذكاء الاصطناعي كأنها مجموعة واحدة هو أكثر خطأ نراه.

ويزداد هذا التمييز أهمية في الخليج. فكثير من المواقع هنا تنشر العرض نفسه مرتين، بالعربية والإنجليزية، والنسخة العربية تواجه غالباً منافسة أقل في الإجابات المولدة بالذكاء الاصطناعي. إذا منعت قواعدك برامج زحف الذكاء الاصطناعي الخطأ، فقد تختفي من الإجابات العربية دون أن تكسب أي حماية. وإذا سمحت بكل شيء افتراضياً، فقد تشارك القطاعات المنظمة، مثل البنوك والرعاية الصحية والخدمات الحكومية، أكثر مما تتوقعه فرقها القانونية.

وهناك أيضاً تحول عملي في طريقة البحث نفسها. يبين دليلنا عن ملخصات الذكاء الاصطناعي والبحث العربي في الخليج كيف أصبحت النتائج على شكل إجابات تظهر فوق الروابط التقليدية في كثير من الأسئلة، ويذهب وضع الذكاء الاصطناعي في جوجل في الخليج أبعد من ذلك. وملف robots.txt هو الطبقة الأولى التي تقرر هل يرى أي من هذه الأنظمة موقعك أصلاً، فهو المكان الذي تخبر فيه برامج زحف الذكاء الاصطناعي بما يحق لها قراءته.

والتوقيت مهم كذلك. تحتاج برامج زحف الذكاء الاصطناعي إلى وقت لالتقاط التغييرات، إذ تذكر OpenAI وPerplexity أن تحديثات ملف robots.txt تستغرق نحو يوم كامل حتى تصل إلى أنظمتها. لذلك نفّذ التغييرات قبل الحملات الموسمية بوقت كافٍ، مثل رمضان والجمعة البيضاء وعروض اليوم الوطني، لا في يوم الإطلاق.

مقارنة برامج زحف الذكاء الاصطناعي التي تزور المواقع الخليجية

تشغّل كل جهة اليوم عدة برامج لكل منها مهمة مختلفة، وكل برنامج يقرأ السطر الخاص به في ملف robots.txt. يعرض الجدول التالي أكثر برامج زحف الذكاء الاصطناعي ظهوراً في سجلات الخوادم الخليجية، مع أثر حظر كل منها كما توثقه الجهة المشغلة في تاريخ مراجعتنا.

المصادر: قائمة برامج الزحف الشائعة من Google، ونظرة OpenAI العامة على برامجها، وصفحة المساعدة من Anthropic، ودليل برامج Perplexity، وصفحة CCBot من Common Crawl، وقد راجعناها كلها في 17 أكتوبر 2026.

ثلاث مهام: التدريب والبحث وطلبات المستخدمين

اقرأ قائمة برامج زحف الذكاء الاصطناعي مرة أخرى حسب المهمة لا حسب الشركة، وسيتضح النمط. برامج التدريب (GPTBot وClaudeBot ورمز Google-Extended) تقرر هل يمكن أن تشكّل كلماتك النماذج القادمة. وبرامج البحث (OAI-SearchBot وClaude-SearchBot وPerplexityBot وGooglebot نفسه) تقرر هل يمكن الاستشهاد بك وربط موقعك. أما برامج الطلبات (ChatGPT-User وClaude-User وPerplexity-User) فتعمل لصالح شخص واحد في لحظة واحدة.

هذا الفصل بين برامج زحف الذكاء الاصطناعي يمنحك خياراً لم يكن متاحاً لأغلب أصحاب المواقع قبل عامين: أن ترفض تدريب النماذج على محتواك، وتبقى مؤهلاً للاستشهاد بك في إجابات البحث. وهذا هو الموقف الذي يتبناه اليوم كثير من الناشرين والعلامات في الخليج.

هل يؤثر Google-Extended على ترتيبك أو على ملخصات الذكاء الاصطناعي؟

لا. تنص Google على أن Google-Extended لا يؤثر على ظهور الموقع في بحث جوجل، ولا يُستخدم إشارةً للترتيب فيه. إنه رمز تحكم يحدد هل يجوز استخدام المحتوى الذي تزحف إليه Google أصلاً في تدريب نماذج Gemini القادمة، وفي تأسيس الإجابات داخل تطبيقات Gemini وVertex AI. وحظره لا يمس ترتيبك في جوجل. باختصار، يقع Google-Extended في سياستك مع برامج التدريب، بينما يقع Googlebot مع البحث.

ملخصات الذكاء الاصطناعي ووضع الذكاء الاصطناعي جزء من بحث جوجل، لذلك تتبع Googlebot لا Google-Extended. وتذكر صفحة Google عن ميزات الذكاء الاصطناعي وموقعك (آخر تحديث لها 10 ديسمبر 2025) أنه لا توجد متطلبات إضافية للظهور فيها، وأن أدوات تقييد ما يُعرض هي أدوات المعاينة نفسها المستخدمة في النتائج العادية: nosnippet وdata-nosnippet وmax-snippet وnoindex.

ماذا يعني ذلك عملياً

• إذا أردت الخروج من تدريب Gemini وتأسيس إجاباته، أضف مجموعة لـ Google-Extended في ملف robots.txt. لن تتغير زياراتك من جوجل.
• إذا أردت تقييد ما يمكن أن تقتبسه ملخصات الذكاء الاصطناعي من صفحة، استخدم max-snippet أو data-nosnippet على الفقرات التي تريد حمايتها. تبقى الصفحة مفهرسة.
• لا تحظر Googlebot أبداً لتتجنب ملخصات الذكاء الاصطناعي، فهذا يحذف الصفحة من بحث جوجل كله، بما فيه الروابط التقليدية.
• تعامل مع Google-Extended كما تتعامل مع برامج التدريب الأخرى في سياستك: قرار واحد مكتوب تراجعه مع بقية برامج زحف الذكاء الاصطناعي.
• بعد أي تغيير، تأكد من أن الوسم ظاهر لـ Googlebot باستخدام أداة فحص الرابط في Search Console. وتشير Google إلى أن إعادة الزحف قد تستغرق من عدة أيام إلى عدة أشهر.

هل يجب حظر GPTBot؟ إطار قرار للأنشطة الخليجية

قرار حظر GPTBot يعتمد على وظيفة محتواك. إذا كانت صفحاتك موجودة لكسب العملاء، فإن قراءتها من قبل برامج زحف الذكاء الاصطناعي تفيد غالباً أكثر مما تضر. أما إذا كان المحتوى هو منتجك نفسه، مثل الأبحاث المدفوعة أو أرشيف الأخبار أو قاعدة بيانات خاصة، فقد ينافسك استخدامه في التدريب منافسة مباشرة. قرر لكل موقع على حدة، لا تبعاً لموجة عامة.

توضح OpenAI أن المهمتين منفصلتان: منع GPTBot إشارة إلى أن المحتوى لا يُستخدم في تدريب النماذج الأساسية، أما المواقع التي تمنع OAI-SearchBot فلا تظهر في إجابات بحث ChatGPT. أي أنك تستطيع حظر GPTBot مع السماح لـ OAI-SearchBot، فتحافظ على الظهور في بحث ChatGPT دون أي أثر على ترتيبك في جوجل. وهذا الفصل هو ما يسمح لك بحظر GPTBot لأسباب قانونية أو تجارية دون أن تخسر الاستشهاد بك في إجابات ChatGPT.

هذا الإطار من إعدادنا، بنيناه على السلوك الموثق أعلاه، وليس استشارة قانونية. ففي الإمارات والسعودية قد تؤثر قوانين حماية البيانات وأنظمة القطاعات في قرار التدريب لدى بعض الجهات، لذلك أشرك فريقك القانوني قبل حظر GPTBot أو السماح له على محتوى منظم.

كيف تعمل قواعد ملف robots.txt مع برامج زحف الذكاء الاصطناعي

يعرّف المعيار RFC 9309 لبروتوكول استبعاد الروبوتات ملف robots.txt. وثلاث قواعد من هذا المعيار تفسر تقريباً كل مفاجأة نجدها في مراجعات ملف robots.txt الخاصة ببرامج زحف الذكاء الاصطناعي.

1. البرنامج يتبع المجموعة التي تسميه فقط. تطابق البرامج اسمها دون تمييز بين الأحرف الكبيرة والصغيرة. إذا وُجدت مجموعة تسمي GPTBot، فسيتبعها ويتجاهل القواعد الواردة تحت User-agent: *.
2. مجموعة النجمة احتياطية. البرنامج الذي لا توجد مجموعة باسمه يتبع مجموعة النجمة. فإذا كتبت Disallow: / تحت النجمة لإيقاف برامج النسخ، فأنت توقف معها كل برامج زحف الذكاء الاصطناعي التي لم تسمها، بما فيها برامج البحث.
3. المجموعات المتعددة لبرنامج واحد تُدمج. إذا سمّت مجموعتان البرنامج نفسه، تُجمع قواعدهما، وقد ينتج عن ذلك حظر لم يقصده أحد.

والمعيار صريح في نقطة أخرى: قواعد robots.txt ليست وسيلة لتفويض الوصول. البرامج الملتزمة تحترمها، لكنها لا تحمي أي شيء خاص حقاً. كل ما هو حساس يحتاج إلى تسجيل دخول، لا إلى سطر Disallow.

قالب أولي لموقع خليجي ثنائي اللغة

المثال التالي ملف robots.txt افتراضي لموقع يريد الاستشهاد به في إجابات البحث دون استخدام محتواه في التدريب. يُبقي البحث التقليدي مفتوحاً، ويسمي كل برنامج من برامج زحف الذكاء الاصطناعي صراحة، فلا يعتمد أي شيء على مجموعة النجمة.

User-agent: GPTBot

Disallow: /

User-agent: ClaudeBot

Disallow: /

User-agent: Google-Extended

Disallow: /

User-agent: CCBot

Disallow: /

User-agent: OAI-SearchBot

User-agent: Claude-SearchBot

User-agent: PerplexityBot

Allow: /

User-agent: *

Disallow: /search

Disallow: /checkout

انتبه إلى ما لا يغطيه هذا القالب. فبرامج الطلبات مثل ChatGPT-User وPerplexity-User قد تتجاهل ملف robots.txt لأن شخصاً طلب الصفحة. وإذا كانت هناك صفحة يجب ألا تصل إلى أي مساعد ذكي أبداً، فيجب ألا تكون عامة.

مثال تطبيقي: بوابة عقارية ثنائية اللغة في دبي

هذا مثال افتراضي مبني على أنماط نراها. بوابة عقارية في دبي تنشر صفحاتها الإنجليزية في الجذر وصفحاتها العربية تحت /ar/. نسخ المطور ملف robots.txt من خادم تجريبي كانت فيه مجموعة النجمة تحمل Disallow: / لعدة أشهر، ثم وصل هذا الملف إلى الموقع الحي أثناء إعادة التصميم.

كيف ظهرت الأعراض

• بقيت زيارات جوجل مستقرة، لأن مجموعة مستقلة لـ Googlebot كانت تسمح بكل شيء.
• لم يكن للعلامة أي ظهور في بحث ChatGPT عن الإيجارات في دبي، لا بالعربية ولا بالإنجليزية، ولم تظهر في Perplexity، بينما كان يُستشهد بمنافسين أصغر.
• أظهرت سجلات الخادم أن OAI-SearchBot وPerplexityBot يطلبان ملف robots.txt ولا شيء غيره.

كيف عولجت المشكلة

سمّى الفريق كل برامج زحف الذكاء الاصطناعي صراحة، وسمح لبرامج البحث الثلاثة، وحظر برنامجي التدريب على تقارير السوق المدفوعة، وقلّص مجموعة النجمة إلى مسارين خاصين. وبما أن OpenAI وPerplexity تذكران أن تغييرات robots.txt تستغرق نحو 24 ساعة، انتظر الفريق يوماً قبل مراجعة السجلات من جديد، فظهرت طلبات برنامجي البحث لصفحات العقارات خلال تلك المدة.

فالحظر عبر مجموعة النجمة كان يكلّف العلامة الظهور في بحث ChatGPT كاملاً دون أن يحمي شيئاً. والدرس قابل للتعميم: في البحث المعتمد على الذكاء الاصطناعي، مجموعة النجمة هي المكان الذي يختبئ فيه الحظر غير المقصود. سمِّ البرامج التي تهمك.

كيف تراجع برامج زحف الذكاء الاصطناعي على موقعك في سبع خطوات

نفّذ هذه المراجعة لبرامج زحف الذكاء الاصطناعي مرة الآن، ثم مع كل إعادة تصميم أو نقل للموقع أو تغيير في شبكة توصيل المحتوى. تستغرق نحو ساعة في موقع ثنائي اللغة عادي.

1. اقرأ ملف robots.txt الحي على النطاق الرئيسي وعلى كل نطاق فرعي، فلكل نطاق ملفه الخاص، والقاعدة على www لا تشمل shop.
2. اكتب كل مجموعة في ملف robots.txt وسجّل أي برامج زحف الذكاء الاصطناعي تسميها كل مجموعة، وضع علامة على أي برنامج لا تغطيه إلا مجموعة النجمة.
3. ابحث عن مجموعات مدمجة أو متعارضة للبرنامج نفسه، وهو سلوك الدمج الذي يصفه المعيار RFC 9309.
4. افحص جدار الحماية وشبكة توصيل المحتوى. كثير من إعدادات الأمان تحظر برامج الذكاء الاصطناعي قبل أن يُقرأ ملف robots.txt أصلاً. ابحث عن قواعد إدارة البرامج الآلية أو حظر الذكاء الاصطناعي.
5. اسحب سجلات الخادم لآخر 30 يوماً واحسب الطلبات من كل برنامج من برامج زحف الذكاء الاصطناعي، مفصولة بين مسارات /ar/ والمسارات الإنجليزية. برنامج البحث الذي لا يطلب إلا ملف robots.txt يُرد على الأرجح.
6. تأكد من أن البرنامج حقيقي حين تنشر الجهة المشغلة عناوين IP الخاصة به، فأسماء البرامج سهلة التزوير، والبرامج المزيفة تضخم الأرقام.
7. دوّن القرار لكل برنامج في سياسة من صفحة واحدة لها مسؤول وتاريخ مراجعة، حتى لا تلغيه إعادة التصميم القادمة.

وتحوّل قائمة الجاهزية للبحث بالذكاء الاصطناعي التي نعدّها هذه الخطوات، ومعها فحوص مستوى الصفحة التالية، إلى ورقة عمل قابلة للمشاركة.

ما نراه في مراجعات ملف robots.txt

في المواقع الخليجية التي نراجعها، تفسر خمس مشكلات معظم الظهور المفقود بسبب إعداد خاطئ لبرامج زحف الذكاء الاصطناعي. لا شيء منها غريب، ويمكن اكتشاف كل منها في فترة ما بعد الظهر.

• حظر عبر مجموعة النجمة. سطر Disallow: / تحت User-agent: * متبقٍّ من الخادم التجريبي، يوقف كل برنامج بحث لم يُسمَّ.
• قواعد جدار حماية بلا مسؤول. خيار بنقرة واحدة لحظر برامج الذكاء الاصطناعي فُعّل أثناء حادثة ولم يُراجع، فأوقف OAI-SearchBot وPerplexityBot أيضاً.
• حظر Googlebot للهروب من ملخصات الذكاء الاصطناعي. هذا يحذف الصفحة من بحث جوجل كله، والبديل هو max-snippet أو data-nosnippet.
• نسيان المسارات العربية. قواعد كُتبت لمسارات /en/ فقط، فيُعامل الموقع العربي بطريقة مختلفة دون أن يقرر أحد ذلك.
• أخطاء في ملف robots.txt. ملف يتأخر أو يعيد خطأ خادم في ذروات الزيارات، وكثيراً ما يحدث ذلك في حملات رمضان، فتبقى البرامج دون تعليمات واضحة.

ما بعد ملف robots.txt: صفحات تستحق الاستشهاد

السماح لبرامج زحف الذكاء الاصطناعي بالدخول هو الباب فقط. أما أن تقتبس منك إجابة ذكية فيعتمد على الصفحة نفسها، وإرشادات Google لميزات الذكاء الاصطناعي تعود إلى الأساسيات: محتوى نصي، وروابط داخلية واضحة، وبيانات منظمة تطابق ما يظهر في الصفحة.

فتح الباب لبرامج زحف الذكاء الاصطناعي دون إصلاح الصفحة يعني أنها ستقرأ محتوى يصعب اقتباسه. وفي مراجعاتنا، تكون النسخة العربية من الصفحة هي الأضعف في أغلب الأحيان: نص أقل، وعناوين ناقصة، وحقائق أساسية محبوسة داخل الصور. وإصلاح ذلك يفيد عادة أكثر من أي تعديل إضافي على ملف robots.txt.

إشارات على مستوى الصفحة تساعد على الاستشهاد

• أجب عن السؤال في أول جملتين تحت عنوان مصاغ كما يسأل الناس، بالعربية والإنجليزية.
• اجعل الحقائق الأساسية نصاً في HTML، لا داخل صور أو نصوص برمجية قد لا يعرضها البرنامج.
• أضف بيانات منظمة تطابق المحتوى الظاهر، ويشرح دليلنا عن البيانات المنظمة للمحتوى العربي ما ينجح في الصفحات العربية.
• حافظ على سرعة الصفحات على الجوال، فالاستجابة البطيئة تقلل ما يجلبه أي برنامج زحف، وراجع مؤشرات أداء الويب الأساسية لجمهور الخليج على الجوال.
• للأسئلة الحوارية بالعربية، يبين دليلنا عن البحث الصوتي بالعربية والاستعلامات الحوارية كيف تصوغ إجابات تطابق ما يقوله الناس فعلاً.

كيف تقيس نجاح إعدادات برامج زحف الذكاء الاصطناعي

قِس النتيجة لا القاعدة. فملف robots.txt الصحيح لا يفيد إلا إذا زارت موقعك برامج زحف الذكاء الاصطناعي الصحيحة وبدأت صفحاتك بالظهور في الإجابات. تابع ثلاث طبقات شهرياً، مع فصل العربية عن الإنجليزية في التقارير. والاستشهادات والإحالات هي أوضح نافذة لديك على الظهور في بحث ChatGPT.

يشرح مقالنا عن قياس الظهور في البحث بالذكاء الاصطناعي كيف تحوّل فحص الاستشهادات إلى تقرير قابل للتكرار. وقارن التغييرات بالأسابيع نفسها من كل عام، لأن رمضان والعيد يغيّران الطلب بشدة في كل أسواق الخليج.

خطوتك التالية

افتح ملف robots.txt الحي اليوم وأجب عن سؤال واحد لكل برنامج من برامج زحف الذكاء الاصطناعي في جدول المقارنة: هل هو مسمّى صراحة، وهل تطابق القاعدة ما يريده نشاطك؟ وإذا كان أي برنامج بحث لا تغطيه إلا مجموعة النجمة، فابدأ بإصلاحه، لأنه أرخص ظهور يمكنك استعادته.

ثم اكتب سياسة من صفحة واحدة، واتفق عليها مع الفريق القانوني حيث يتطلب قطاعك ذلك، وحدد موعد مراجعة في الربع القادم. وللصورة الأشمل عن تغير البحث في المنطقة بفعل الإجابات الذكية، ابدأ من قسم البحث بالذكاء الاصطناعي، وتابع تغطيتنا لنظرات الذكاء الاصطناعي، وشاهد كيف تنعكس هذه التغييرات على الإمارات العربية المتحدة.