الخيار الثاني: Meta tags
فهناك معيار أخر، والذي من الممكن أن يكون أكثر تلائمًا لاستخدام صفحة بصفحة،
حيث يشتمل على إضافة <META> tag لصفحة HTML لإخبار برامج الروبوت بعدم فهرسة تلك
الصفحة. يتم وصف هذا المعيار في
http://www.robotstxt.org/wc/exclusion.html#meta (وصلات لموقع إنجليزي).
لمنع جميع برامج الروبوت من فهرسة صفحة على موقعك، يجب وضع العلامة الوصفية
التالية في قسم <HEAD> الخاص بصفحتك:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
للسماح لبرامج الروبوت الأخرى بفهرسة الصفحة على موقعك، ومنع برامج الروبوت
الخاصة بـ Google فقط من فهرسة الصفحة، يجب استخدام العلامة التالية:
<META NAME="GOOGLEBOT" CONTENT="NOINDEX, NOFOLLOW">
للسماح لبرامج الروبوت بفهرسة الصفحة على موقعك ولكن بعد توجيها بعدم تتبع
الوصلات الصادرة، يجب استخدام العلامة التالية:
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
