يقوم Google بتحديث
فهرسها بالكامل آليًا على أساس منتظم. عندما نقوم بالزحف إلى الويب، نعثر على صفحات
جديدة، ونتجاهل وصلات قديمة، ونقوم بتحديث وصلات آليًا. فالوصلات غير مُحدثة سوف
"تتلاشى" في الغالب من فهرسنا أثناء زحفنا التالي.
ملاحظة:
إذا كنت
تعتقد أن طلبك
عاجل
ولا يمكن أن ينتظر للمرة القادمة حتى يقوم Google بالزحف إلى
موقعك، استخدم
نظام إزالة عنوان URL الآلي (الصفحة موجودة حاليًا باللغة
الإنجليزية فقط). سوف نقبل طلب الإزالة الخاص بك فقط إذا قامت
الصفحة بإرجاع خطأ 404 من خلال مقدمات http. الرجاء التأكد من إنك
قمت بإرجاع خطأ 404 حتى إذا قمت باختيار عرض أكثر من نص مألوف
لمستخدم صفحة HTML من أجل زائريك. لن يساعد ذلك في إرجاع صفحة تفيد
بأن "الملف غير موجود" إذا كانت مقدمات http سوف تظل تقوم بإرجاع
رمز الحالة 200، أو طبيعي.