Back to Question Center
0

सभी खोज मील का क्रॉलिंग अस्वीकार करें

1 answers:

रोबोट का प्रयोग . txt मैं खोज URL के सभी क्रॉलिंग को रोकने का प्रयास कर रहा हूं

     अस्वीकार: / rest_of_url / खोज और भ्रमण *    

ऊपर वह है जो मैं उपयोग कर रहा हूं. हमारे यूआरएल सभी खोज परिणामों के लिए निम्न की तरह दिखता है - amp flexible lifetime investment menu covers. हालांकि, खोज और भ्रमण के बाद सब कुछ अलग हो सकता है, उदाहरण के लिए:

     https: // www. उदाहरण. कॉम. एओ / बाकी_ओफ़_यूआरएल / सर्च और टूर-एसडीएफटी = द-प्लेस + स्थान + और टूर-अवधि = 1 /     

क्या रद्द करें कोड ऊपर रोबोट को अपने सभी खोज परिणामों को क्रॉल करने से रोकेंगे पृष्ठों?

February 12, 2018

क्या उपरोक्त अस्वीकार कोड से रोबोट मेरे सभी खोज परिणाम पृष्ठों को क्रॉल करने से रोकेंगे?

हां, यह रोबोटों का पालन करने वाले (अच्छे) बॉट्स को रोक देगा. txt "मानक".

हालांकि, आपको पिछली * की आवश्यकता नहीं है. रोबोट. txt उपसर्ग मिलान है, इसलिए अंत में "वाइल्डकार्ड" * को छोड़ा जा सकता है. (वाइल्डकार्ड प्रकार मैचों में मूल मानक के एक एक्सटेंशन हैं. )

और आपको स्पष्ट रूप से उपयोगकर्ता-एजेंट निर्देश जो इस नियम से पहले हैं, की आवश्यकता है, यदि आपको पहले से यह नहीं मिला है:

  उपयोगकर्ता-एजेंट: *
अस्वीकार करें: / rest_of_url / खोज और भ्रमण 

अस्वीकार फ़ाइलें या फ़ोल्डरों को क्रॉल करने की अनुमति नहीं है सेट करता है.

इसके अतिरिक्त, आप पृष्ठ के एचटीएमएल कोड में कोई नैनिंडेक्स मेटा टैग को शामिल करके एक पृष्ठ को Google खोज में प्रदर्शित होने से रोक सकते हैं. जब Googlebot अगले पृष्ठ को क्रॉल करता है, तो Googlebot को नॉनइंडएक्स मेटा टैग दिखाई देगा और उस पृष्ठ को पूरी तरह से Google खोज परिणामों से छोड़ दिया जाएगा, भले ही यह अन्य साइटें लिंक हों या नहीं.