أعزائي متابعي مدونة MAI HEIKAL اليوم أشرح لكم موضوع حصري وهام جدا وهو شرح تفضيلات البحث في لوحة التحكم لمدونة بلوجر ..ارجو الانتباه !!!

العلامة الوصفية لبرامج الروبوت ومواصفات رأس X-Robots-Tag HTTP

نبذة مختصرة

يوضح هذا المستند كيف تسمح لك إعدادات الفهرسة على مستوى الصفحة بالتحكم في كيفية إتاحة Google للمحتوى من خلال نتائج البحث. يمكنك تحديد ذلك من خلال تضمين علامة وصفية على صفحات HTML (X) أو في رأس HTTP.

ملاحظات

ضع في اعتبارك أنه يمكن قراءة هذه الإعدادات ومتابعتها فقط في حالة السماح لبرامج الزحف بالوصول إلى الصفحات التي تتضمن هذه الإعدادات.
تنطبق العلامة <meta name="robots" content="noindex" /> أو التوجيه على برامج زحف محركات البحث. لحظر برامج الزحف التي لا يتم البحث عنها ، مثل AdsBot-Google ، قد تحتاج إلى إضافة أوامر موجهة تستهدف الزاحف المحدد (على سبيل المثال ، <meta name="AdsBot-Google" content="noindex" /> )

باستخدام العلامة الوصفية لبرامج الروبوت

تتيح لك العلامة الوصفية لبرامج الروبوت استخدام أسلوب محدد محدد للصفحة للتحكم في كيفية فهرسة صفحة فردية وعرضها للمستخدمين في نتائج البحث. ضع العلامة الوصفية لبرامج الروبوت في قسم <head> في صفحة معينة ، على النحو التالي:

 <! DOCTYPE html>
 <HTML> <HEAD>
 <meta name = "robots" content = "noindex" />
 (...)
 </ head>
 <body> (...) </ body>
 </ HTML>

ترشد العلامة الوصفية لبرامج الروبوت في المثال أعلاه معظم محركات البحث إلى عدم عرض الصفحة في نتائج البحث. تحدد قيمة السمة name ( robots ) أن التوجيه ينطبق على جميع برامج الزحف. لمعالجة زاحف معين ، robots قيمة robotsلسمة الاسم باسم الزاحف الذي تتناوله. تُعرف برامج الزحف المحددة أيضًا باسم وكلاء المستخدم (يستخدم الزاحف وكيل المستخدم لطلب صفحة.) لدى زاحف الويب القياسي من Google اسم وكيل المستخدم Googlebot . لمنع Googlebot فقط من الزحف إلى صفحتك ، قم بتحديث العلامة كما يلي:

 <meta name = "googlebot" content = "noindex" />

ترشد هذه العلامة الآن Google (وليس محركات بحث أخرى) إلى عدم عرض هذه الصفحة في نتائج بحث الويب. كل من nameوخصائص content غير حساس لحالة الأحرف.

قد تحتوي محركات البحث على برامج زحف مختلفة لخصائص أو أغراض مختلفة. اطلع على القائمة الكاملة لزواحف Google .على سبيل المثال ، لعرض صفحة في نتائج بحث الويب من Google ، ولكن ليس في أخبار Google ، استخدم العلامة الوصفية التالية:

 <meta name = "googlebot-news" content = "noindex" />

إذا كنت بحاجة إلى تحديد برامج الزحف المتعددة بشكل فردي ، فلا مانع من استخدام علامات تعريف متعددة لبرامج الروبوت:

 <meta name = "googlebot" content = "noindex">
 <meta name = "googlebot-news" content = "nosnippet">

إذا صادفت برامج الزحف لدينا توجيهات منافسة ، فسنستخدم التوجيه الأكثر تقييدًا الذي نجده.

استخدام رأس `X-Robots-Tag` HTTP

يمكن استخدام X-Robots-Tag كعنصر استجابة عنوان HTTP لعنوان URL محدد. يمكن أيضًا تحديد أي توجيه يمكن استخدامه في العلامة الوصفية لبرامج الروبوت باعتباره X-Robots-Tag . في ما يلي مثال على استجابة HTTP باستخدامX-Robots-Tag لتوجيه برامج الزحف إلى عدم فهرسة صفحة:

 HTTP / 1.1 200 OK
 التاريخ: الثلاثاء ، 25 مايو 2010 21:42:43 بتوقيت جرينتش
 (...)
 X-Robots-Tag: noindex
 (...)

يمكن دمج رؤوس X-Robots-Tag المتعددة ضمن استجابة HTTP ، أو يمكنك تحديد قائمة توجيهات مفصولة بفواصل. في ما يلي مثال على استجابة رأس HTTP التي تتضمن noarchive X-Robots-Tag الموضوعة مع علامة X-Robots-Tagunavailable_after X-Robots-Tag .

 HTTP / 1.1 200 OK
 التاريخ: الثلاثاء ، 25 مايو 2010 21:42:43 بتوقيت جرينتش
 (...)
 X-Robots-Tag: noarchive 
  X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
 (...)

قد تحدد X-Robots-Tag اختياريًا عامل مستخدم قبل التوجيهات. على سبيل المثال ، يمكن استخدام المجموعة التالية من رؤوسX-Robots-Tag HTTP للسماح بعرض صفحة في نتائج البحث لمحركات البحث المختلفة:

 HTTP / 1.1 200 OK
 التاريخ: الثلاثاء ، 25 مايو 2010 21:42:43 بتوقيت جرينتش
 (...)
 X-Robots-Tag: googlebot: nofollow 
  X-Robots-Tag: otherbot: noindex، nofollow
 (...)

التوجيهات المحددة دون وكيل المستخدم صالحة لجميع برامج الزحف. يوضح القسم أدناه كيفية التعامل مع التوجيهات المدمجة. كل من الاسم والقيم المحددة ليست حساسة لحالة الأحرف.

فهرسة صالحة وتوجيهات الخدمة

يمكن استخدام عدة توجيهات أخرى للتحكم في الفهرسة والعرض باستخدام العلامة الوصفية لبرامج الروبوت وعلامة X-Robots-Tag . كل قيمة تمثل توجيه معين. يعرض الجدول التالي جميع التوجيهات التي تكرمها Google ومعنىها. ملاحظة: من المحتمل ألا يتم التعامل مع هذه التوجيهات بنفس الطريقة مع جميع برامج زحف محركات البحث الأخرى. يمكن دمج التوجيهات المتعددة في قائمة مفصولة بفواصل (انظر أدناه لمعالجة الأوامر المجمعة). هذه التوجيهات ليست حساسة لحالة الأحرف.

توجيهات	المعنى
`all`	لا توجد قيود على الفهرسة أو العرض. ملاحظة: هذا التوجيه هو القيمة الافتراضية وليس له أي تأثير إذا تم إدراجه بشكل صريح.
`noindex`	لا تعرض هذه الصفحة في نتائج البحث ولا تعرض رابط "نسخة مخبأة" في نتائج البحث.
`nofollow`	لا تتبع الروابط في هذه الصفحة
`none`	أي ما يعادل `noindex, nofollow`
`noarchive`	لا تعرض رابط "نسخة مخبأة" في نتائج البحث.
`nosnippet`	لا تعرض قصاصة نص أو معاينة فيديو في نتائج البحث لهذه الصفحة. ستظل الصورة المصغرة الثابتة (إذا كانت متوفرة) مرئية.
`notranslate`	لا تقدم ترجمة لهذه الصفحة في نتائج البحث.
`noimageindex`	لا فهرسة الصور في هذه الصفحة.
`unavailable_after: [RFC-850 date/time]`	لا تعرض هذه الصفحة في نتائج البحث بعد التاريخ / الوقت المحدد. يجب تحديد التاريخ / الوقت بتنسيق RFC 850 .

بعد منح ملف robots.txt (أو غياب واحد) الإذن بالزحف إلى صفحة ، يتم التعامل مع الصفحات الافتراضية على أنها قابلة للزحف وفهرستها وأرشفتها ومحتوىها معتمد للاستخدام في المقتطفات التي تظهر في نتائج البحث ، إلا إذا تم رفض الإذن بشكل محدد في علامة وصفية لبرامج الروبوت أو X-Robots-Tag .

عد إلى الأعلى

التعامل مع الفهرسة وتوجيهات الخدمة المجمعة

يمكنك إنشاء تعليمة متعددة التوجيه من خلال الجمع بين توجيهات العلامات الوصفية لبرامج الروبوت والفواصل. في ما يلي مثال على العلامة الوصفية لبرامج الروبوت التي توجه برامج زحف الويب إلى عدم فهرسة الصفحة وعدم الزحف إلى أي من الروابط على الصفحة:

 <meta name = "robots" content = "noindex، nofollow">

بالنسبة إلى المواقف التي يتم فيها تحديد عدة برامج زحف إلى جانب توجيهات مختلفة ، سيستخدم محرك البحث مجموع التوجيهات السلبية. فمثلا:

 <meta name = "robots" content = "nofollow">
 <meta name = "googlebot" content = "noindex">

سيتم تفسير الصفحة التي تحتوي على هذه العلامات الوصفية على أنها تتضمن noindex, nofollow directive عند الزحف إليها بواسطة Googlebot.

التنفيذ العملي لـ `X-Robots-Tag` مع Apache

يمكنك إضافة X-Robots-Tag إلى استجابات HTTP للموقع باستخدام ملفات .htaccess و httpd.conf المتوفرة بشكل افتراضي على خوادم الويب المستندة إلى Apache. تتمثل فائدة استخدام X-Robots-Tag مع استجابات HTTP في أنه يمكنك تحديد أوامر الزحف التي يتم تطبيقها عالميًا عبر الموقع. يسمح دعم التعبيرات العادية بمستوى عالٍ من المرونة.

على سبيل المثال ، لإضافة noindex, nofollow X-Robots-Tag إلى استجابة HTTP لجميع ملفات .PDF عبر موقع بأكمله ، أضف القصاصة التالية إلى ملف .htaccess أو ملف httpd.conf الجذر الخاص بالموقع:

 <files ~ "\ .pdf $">
   مجموعة رأس X-Robots-Tag "noindex، nofollow"
 </ الملفات>

يمكنك استخدام X-Robots-Tag لملفات غير HTML مثل ملفات الصور حيث لا يمكن استخدام العلامات الوصفية لبرامج الروبوت. في ما يلي مثال لإضافة توجيه noindex X-Robots-Tag لملفات الصور (.png و. jpeg و .jpg و .gif) عبر الموقع بالكامل:

 <files ~ "\. (png | jpe؟ g | gif) $">
   مجموعة رأس X-Robots-Tag "noindex"
 </ الملفات>

الجمع بين الزحف مع توجيهات الفهرسة / العرض

يتم اكتشاف العلامات الوصفية X-Robots-Tag ورؤوس X-Robots-Tag HTTP عند الزحف إلى عنوان URL. إذا لم يتم منع إحدى الصفحات من الزحف عبر ملف robots.txt ، فلن يتم العثور على أي معلومات حول فهرسة أو توجيهات الخدمة ، وبالتالي سيتم تجاهلها. إذا كان يجب اتباع الفهرسة أو توجيهات الخدمة ، فلا يمكن منع عناوين URL التي تحتوي على تلك التوجيهات من الزحف.