Web UtilitiesRobots.txt जनरेटर
सर्च इंजन क्रॉलर को नियंत्रित करने के लिए सही फॉर्मेट में robots.txt फाइलें बनाएं। विभिन्न यूजर एजेंट के लिए कस्टम नियम बनाएं, क्रॉल देरी जोड़ें और साइटमैप स्थान शामिल करें।
क्रॉलर नियम
साइटमैप
जेनरेटेड robots.txt
# robots.txt जेनरेट करने के लिए ऊपर नियम जोड़ें
Related Tools
इस टूल के बारे में
यह कैसे काम करता है
- Allow/Disallow डायरेक्टिव के साथ यूजर-एजेंट विशिष्ट नियम जोड़ें
- विभिन्न बॉट्स के लिए क्रॉल देरी सेटिंग शामिल करें
- सर्च इंजन डिस्कवरी के लिए साइटमैप URLs जोड़ें
- मानकों के अनुरूप robots.txt फॉर्मेट जेनरेट करता है
- सामान्य सिंटैक्स त्रुटियों के लिए नियमों को मान्य करता है
सामान्य उपयोग के मामले
- प्राइवेट पेजों से सर्च इंजन ब्लॉक करें
- एडमिन या डेवलपमेंट क्षेत्रों की क्रॉलिंग रोकें
- संसाधन-भारी डायरेक्टरी पर बॉट एक्सेस नियंत्रित करें
- विभिन्न सर्च इंजन के लिए अलग नियम निर्दिष्ट करें
- बेहतर SEO के लिए साइटमैप स्थान शामिल करें
Frequently Asked Questions
robots.txt फाइल क्या है और मुझे इसकी आवश्यकता क्यों है?
robots.txt फाइल एक टेक्स्ट फाइल है जो आपकी वेबसाइट के रूट डायरेक्टरी में रखी जाती है और सर्च इंजन क्रॉलर को बताती है कि उन्हें आपकी साइट के कौन से पेज या सेक्शन विजिट करने चाहिए या नहीं। यह नियंत्रित करने के लिए आवश्यक है कि सर्च इंजन आपकी वेबसाइट को कैसे इंडेक्स करते हैं।
मुझे अपनी वेबसाइट पर robots.txt फाइल कहाँ रखनी चाहिए?
robots.txt फाइल आपकी वेबसाइट के रूट डायरेक्टरी में रखी जानी चाहिए, https://yourwebsite.com/robots.txt पर एक्सेस योग्य। सर्च इंजन हमेशा इसे इसी स्थान पर खोजते हैं।
"Allow" और "Disallow" डायरेक्टिव में क्या अंतर है?
"Disallow" क्रॉलर को निर्दिष्ट पथों तक पहुँचने से रोकता है, जबकि "Allow" स्पष्ट रूप से पहुँच की अनुमति देता है। एडमिन पैनल या प्राइवेट कंटेंट जैसे क्षेत्रों को ब्लॉक करने के लिए "Disallow" का उपयोग करें।
"*" यूजर-एजेंट का क्या मतलब है?
"*" यूजर-एजेंट एक वाइल्डकार्ड है जो सभी वेब क्रॉलर और सर्च इंजन बॉट्स पर नियम लागू करता है। आप विभिन्न क्रॉलर के लिए अलग-अलग नियम बनाने के लिए "Googlebot" या "Bingbot" जैसे व्यक्तिगत यूजर एजेंट भी निर्दिष्ट कर सकते हैं।
क्या मुझे robots.txt फाइल में अपना साइटमैप शामिल करना चाहिए?
हाँ, robots.txt में अपने साइटमैप URL को शामिल करने से सर्च इंजन को आपकी सामग्री को अधिक कुशलता से खोजने और क्रॉल करने में मदद मिलती है।
क्रॉल देरी क्या है और मुझे इसका उपयोग कब करना चाहिए?
क्रॉल देरी आपके सर्वर पर क्रॉलर अनुरोधों के बीच न्यूनतम सेकंड निर्दिष्ट करती है। इसका उपयोग करें यदि आपके सर्वर के पास सीमित संसाधन हैं या आक्रामक क्रॉलिंग के कारण प्रदर्शन समस्याएं हैं।
क्या robots.txt मेरी साइट से सर्च इंजन को पूरी तरह ब्लॉक कर सकता है?
जबकि robots.txt वैध सर्च इंजन को आपकी साइट क्रॉल करने से हतोत्साहित कर सकता है, यह कोई सुरक्षा उपाय नहीं है। दुर्भावनापूर्ण बॉट्स robots.txt को अनदेखा कर सकते हैं।
मैं विशिष्ट फाइल प्रकारों या एक्सटेंशन को कैसे ब्लॉक करूं?
पथ फील्ड में वाइल्डकार्ड पैटर्न का उपयोग करें। उदाहरण के लिए, "Disallow: *.pdf" सभी PDF फाइलों को ब्लॉक करता है। टूल मानक वाइल्डकार्ड सिंटैक्स का समर्थन करता है।
यदि मेरे पास कई यूजर-एजेंट सेक्शन हैं तो क्या होता है?
प्रत्येक यूजर-एजेंट सेक्शन निर्दिष्ट क्रॉलर पर लागू होता है। यदि कोई बॉट कई सेक्शन से मेल खाता है, तो वह सबसे विशिष्ट मेल का पालन करता है।
मैं कैसे परीक्षण कर सकता हूं कि मेरी robots.txt फाइल सही ढंग से काम कर रही है?
आप Google Search Console के robots.txt परीक्षक टूल का उपयोग करके अपनी robots.txt फाइल का परीक्षण कर सकते हैं, या ब्राउज़र में अपनी साइट के robots.txt URL पर सीधे पहुँचकर।
क्या मैं अपनी robots.txt फाइल में टिप्पणियां उपयोग कर सकता हूं?
हाँ, आप "#" प्रतीक से शुरू होने वाली पंक्तियों से टिप्पणियां जोड़ सकते हैं। टिप्पणियां आपके नियमों को दस्तावेज करने के लिए उपयोगी हैं।
robots.txt में बचने के लिए कुछ सामान्य गलतियां क्या हैं?
सामान्य गलतियों में शामिल हैं: गलत फाइल लोकेशन का उपयोग करना, डायरेक्टरी पथों में ट्रेलिंग स्लैश भूलना, "Disallow: /" का उपयोग करना जो सब कुछ ब्लॉक करता है, और यूजर-एजेंट निर्दिष्ट न करना।