إزالة جزء من موقعك

إزالة جزء من موقعك

الخيار الأول: Robots.txt

لإزالة أدلة أو صفحات فردية من موقع الويب الخاص بك، يمكنك وضع ملف robots.txt في المجلد الرئيسي لمركز الخدمة الخاص بك. لمزيد من المعلومات عن كيفية إنشاء ملف robots.txt، انظر بروتوكول استبعاد برنامج الروبوت (وصلات لموقع إنجليزي). عند إنشاء ملف robots.txt الخاص بك، الرجاء تذكُّر ما يلي: عند تقرير أية صفحات يتم الزحف إليها على مُضيف معين، سوف يتبع برنامج الروبوت Googlebot أول سجل في ملف robots.txt مع برنامج User-agent بادئ مع برنامج الروبوت "Googlebot." إذا لم يوجد مثل هذا القيد، فإنه سوف يقوم بإتباع القيد الأول مع وكيل مستخدم لـ "*". علاوة على ذلك، لقد قام Google بتقديم مرونة زائدة لملف robots.txt القياسي من خلال استخدام العلامات النجمية. قد يتضمن عدم السماح للنماذج "*" لمطابقة أي تسلسل من الحروف، وقد تنتهي النماذج بـ "$" لتشير إلى نهاية اسمًًا.

لإزالة كافة الصفحات تحت دليل معين (على سبيل المثال، lemurs)، يجب أن تستخدم قيد robots.txt التالي:

وكيل مستخدم: برنامج Googlebot Disallow: /lemurs

لإزالة كافة الملفات الخاصة بنوع ملف محدد (على سبيل المثال، .gif)، يجب أن تستخدم قيد robots.txt التالي:

User-agent: Googlebot Disallow: /*.gif$

لإزالة الصفحات المنشأة بطريقة ديناميكية، يجب أن تستخدم القيد robots.txt:

User-agent: Googlebot Disallow: /*?

الخيار الثاني: Meta tags

فهناك معيار أخر، والذي من الممكن أن يكون أكثر تلائمًا لاستخدام صفحة بصفحة، حيث يشتمل على إضافة <META> tag لصفحة HTML لإخبار برامج الروبوت بعدم فهرسة تلك الصفحة. يتم وصف هذا المعيار في http://www.robotstxt.org/wc/exclusion.html#meta (وصلات لموقع إنجليزي).

لمنع جميع برامج الروبوت من فهرسة صفحة على موقعك، يجب وضع العلامة الوصفية التالية في قسم <HEAD> الخاص بصفحتك:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

للسماح لبرامج الروبوت الأخرى بفهرسة الصفحة على موقعك، ومنع برامج الروبوت الخاصة بـ Google فقط من فهرسة الصفحة، يجب استخدام العلامة التالية:

<META NAME="GOOGLEBOT" CONTENT="NOINDEX, NOFOLLOW">

للسماح لبرامج الروبوت بفهرسة الصفحة على موقعك ولكن بعد توجيها بعدم تتبع الوصلات الصادرة، يجب استخدام العلامة التالية:

<META NAME="ROBOTS" CONTENT="NOFOLLOW">

ملاحظة: إذا كنت تعتقد أن طلبك عاجلولا يمكن أن ينتظر للمرة القادمة حتى يقوم Google بالزحف إلى موقعك، استخدم نظام إزالة عنوان URL الآلي (الصفحة موجودة حاليًا باللغة الإنجليزية فقط). لكي تعمل هذه العملية الآلية، يجب أن يقوم مشرف الموقع أولاً بإدراج العلامة الوصفية الملائمة في رمز HTML الخاص بالصفحة. سوف يؤدي عمل ذلك أو التقديم من خلال نظام إزالة عنوان URL الآلي إلى إزالة مؤقتة لتلك الصفحات لمدة 180 يومًا من فهرس Google، بغض النظر عما إذا قمت بإزالة الملف أو العلامات الوصفية robots.txt بعد معالجة طلبك أم لا.