ملف توجيه العناكب (محركات البحث) داخل موقعك
هذا الملف يعمل بامرين وهما
Disallow حجب
Allow سماح
عناكب محركات البحث المشهورة هي وهذه
عناكبGoogle AdSense
User-agent: Mediapartners-Google*
Google
User-agent: googlebot
MSN
User-agent: MSNBOT
MSN2
User-agent: msnbot-media/1.0
ALEXA
User-agent: alexa_site_report
YAHOO
User-agent: slurp
مثال علي هذا الملف

عمل الربوتس واعداده لا تدعه في موقعك وانتا لا تدرك ما محتوي والفائده منه الربوتس معني الرجل الالي او يطلق عليا باسم المتجولون
يستخدم في توجيه العناكب تامره ما تريد ان يارشف وما لا تريد ارشفته اعلم ان الربوتس ملف يشاهده الجميع الزوار والعناكب لا تخفي معلومه
لانك بذلك ستنشره بمحركات البحث عناكب محركات البحث قبل ان تقوم بالزحف الي صفحات موقعك تتحق من وجود الربوتس

يضع الملف في الرئسيه لان العناكب تبحث عن الربوتس في مسار robots.txt

ومن خلاله تتبع المسار الذي مراد حجبه تقوم بحذف المسار الذي حجبته ومنعته من الزحف وتضع مكانه “/robots.txt”
كل ما يتعلق بالملف وفائده معني كلمه ربوتس هي الرجل الالي او المتجولون هو يستخدم لتوجيه عناكب محركات البحث تشير بيه عن ما يارشف وما يمنع من الارشفه
اعلم الربوتس متاح للزوار والعناكب فلا تفكر ان تخفي معلومه لان بذلك انتا لا تخفيها انتا تنشرهاوهو يقوم بحذف مسار الرابط وتضع مكانه المسار”/robots.txt”
النعناكب عباره عن برامج تتصفح موقعك تلقائي يوجد بعض العناكب التي تتجاهل الربوتس وتدخل لكي تبحث عن ثغرات امنيه وايميلات
كيفيه عمل ملف الربوتس واعداده لموقعك لان العناكب قبل ان تذحف الي صفحات موقعك تتحق من وجد ملف الربوتس
اجعل اسمه هكذا robots.txt  وليس هكذا Robots.TXT
1 كل الموقع متاح لجميع العناكب
User-Agent: * Allow: /
2 كل الموقع محجوب عن جميع العناكب
User-agent: * Disallow: /
3 حجب جزء من الموقع عن حميع العناكب مثل صفحة الادمن والصور والملجدات الخاصة والسماح لهم بباقي الموقع
User-agent: * Disallow: /cgi-bin/ Disallow: /images/ Disallow: /vb/admincp/index.php      Disallow: /vb/includes/
4 حجب عناكب محرك معين عن دخول موقعك والسماح للاخرى اولا عليك ان تعرف نوع العناكب

يوجد عناكب تتجاهل الربوتس تدخل موقعك تبحث عن ثغرات امنيه وايميلات
User-agent: googlebot Disallow: / User-agent: * Allow: /
5 حجب حميع محركات البحث ماعادا محرمات معينة
User-agent: googlebot Allow: / User-agent: MSNBOT Allow: / User-agent: * Disallow: /
6 منع محرك بحث معين من الدخو لمنطقة معينة مع السماح لباقي المحركات بدخول جميع الاماكن
User-agent: googlebot Disallow: /cgi-bin/ Disallow: /images/ Disallow: /vb/admincp/index.php Disallow: /vb/includes/ User-agent: * Allow: /
www وضعه في رئسيه الموقع في مجلد robots.txt  قم بحفظ الكود في ملف