مولد Robots.txt

ملف robots.txt هو ملف نصي موجود في الدليل الجذري لموقعك يخبر زواحف محركات البحث بالصفحات أو الأقسام التي يجب أو لا يجب زيارتها. وهو ضروري للتحكم في كيفية فهرسة محركات البحث لموقعك.

يجب وضع ملف robots.txt في الدليل الجذري لموقعك، ويمكن الوصول إليه على https://موقعك.com/robots.txt. تبحث محركات البحث دائمًا عنه في هذا الموقع بالضبط.

Disallow يمنع الزواحف من الوصول إلى المسارات المحددة، بينما Allow يسمح صراحةً بالوصول. استخدم Disallow لحظر مناطق مثل لوحات الإدارة، وAllow لتجاوز قواعد Disallow الأوسع.

وكيل المستخدم * هو حرف بدل يطبق القواعد على جميع زواحف الويب وبوتات محركات البحث. يمكنك أيضًا تحديد وكلاء فرديين مثل Googlebot أو Bingbot.

نعم، يساعد تضمين عنوان URL لخريطة الموقع في robots.txt محركات البحث على اكتشاف المحتوى وزحفه بكفاءة أكبر.

يحدد تأخير الزحف الحد الأدنى من الثواني بين طلبات الزاحف لخادمك. استخدمه إذا كان خادمك يعاني من محدودية الموارد أو مشاكل أداء بسبب الزحف المكثف.

بينما يمكن لـ robots.txt إثناء محركات البحث الشرعية عن الزحف، إلا أنه ليس إجراءً أمنيًا. قد تتجاهل البوتات الضارة robots.txt والملف نفسه متاح للعموم.

استخدم أنماط أحرف البدل في حقل المسار. على سبيل المثال، Disallow: *.pdf يحظر جميع ملفات PDF.

يطبق كل قسم لوكيل المستخدم على الزاحف المحدد. إذا تطابق بوت مع أقسام متعددة، فإنه يتبع التطابق الأكثر تحديدًا.

يمكنك اختبار ملف robots.txt باستخدام أداة اختبار robots.txt في Google Search Console، أو بالوصول مباشرةً إلى عنوان URL الخاص بـ robots.txt.

نعم، يمكنك إضافة تعليقات ببدء الأسطر برمز #. التعليقات مفيدة لتوثيق القواعد.

الأخطاء الشائعة تشمل: استخدام موقع ملف خاطئ، نسيان الشرطة المائلة اللاحقة في مسارات الدليل، استخدام Disallow: / الذي يحظر كل شيء، وعدم تحديد وكيل مستخدم.