Back to Question Center
0

Semalt: मैं robots.txt में विशिष्ट क्वेरी स्ट्रिंग को अस्वीकृत कैसे करूँ?

1 answers:

मेरे पास यूआरएल

है
     http: // www. उदाहरण. com / खरीदारी / पुस्तकों /? ख = 9    

और निम्नलिखित रोबोट - sava eskimo stud tl. txt फ़ाइल:

     उपयोगकर्ता-एजेंट: *
अस्वीकार करें: /? बी = 9    

लेकिन जब मैं इसे Google वेबमास्टर सेमाल्ट रोबोटों में परीक्षण करता हूं. txt परीक्षक यह अनुमति दी जाती है जब उसे अनुमति नहीं दी जानी चाहिए.

Whilst /? बी = 9 तय है, / शॉपिंग / किताबें विभिन्न श्रेणियों के साथ बदल जाएगी और मुझे उन सभी को अवरुद्ध करने की आवश्यकता है.

Semaltेट मुझे बताएं कि मेरे रोबोटों में क्या गलत है. टेक्स्ट.

February 12, 2018

रोबोट. txt है उपसर्ग मिलान , तो ऐसा नियम है अस्वीकार करें: /? b = 9 सभी यूआरएल ब्लॉक करेगा शुरू /? b = 9 . आपके यूआरएल शुरू / shopp इसलिए वे अवरुद्ध नहीं हैं.

हालांकि, यूआरएल के पहले भाग को दर्शाने के लिए आप * (वाइल्डकार्ड - 0 या किसी भी पात्र का अधिक उदाहरण) का उपयोग कर सकते हैं. यह "मानक" के अतिरिक्त है, लेकिन मुख्य खोज इंजन बॉट्स "Google, Bing, Yahoo, और Ask" ) इसका समर्थन करते हैं:

  अस्वीकार / * /? बी = 9 

उपरोक्त ब्लॉक / शॉपिंग / किताबें / बी / 9 और / /? B = 9 .

संदर्भ:
https: // डेवलपर्स. गूगल. com / webmasters / control-crawl-index / docs / robots_txt? hl = en # url- मेल-आधारित-ऑन-पथ-मान

उत्तर मैं लिंक पर है:

  अस्वीकार: / खरीदारी / * / *? बी = 9 

* एक जोकर है जिसका मतलब है "सभी"

मुझे नहीं लगता कि रोबोटों में ऐसा करने का ऐसा कोई तरीका है. टेक्सटाइल और जो भी रोबोटों में विज्ञापित किया गया है. टीएक्सटी भी हैकरों को विज्ञापित किया जा सकता है क्योंकि रोबोट. txt एक फ़ाइल सभी के लिए सुलभ है.

मेरा क्या सुझाव है कि आप अपनी स्क्रिप्टिंग भाषा का इस्तेमाल क्वेरी स्ट्रिंग का पता लगाने के लिए करना चाहते हैं जिसे आप लोगों तक नहीं पहुंचना चाहते हैं और यदि क्वेरी स्ट्रिंग मेल खाता है, तो प्रासंगिक पेज पर एक रीडायरेक्ट बनाएं जिससे कि लोगों को उन तक पहुंचने या उन्हें लेने की अनुमति हो। 410 एचटीटीपी कोड वाला एक पेज . 1 301 पुनर्निर्देशन ", सत्य); शीर्षलेख ("स्थान: http: // उदाहरण. com / newpage ", true); गूंज "यह पृष्ठ यहां "; बाहर जाएं

; } ?>

यदि आप विशेष रूप से बस रोबोटों को ब्लॉक नहीं करते हैं और वास्तविक उपयोगकर्ता नहीं हैं, तो आप केवल पैरा के माध्यम से ही पैरामीटर को एक्सेस कर सकते हैं. php "method =" POST ">

PHP फ़ाइल नामित phpscript. php:

  ;
}
?> 

पोस्ट विधि के साथ केवल एक समस्या यह है कि पोस्ट अनुरोध आम तौर पर गैर-कैश करने योग्य आधारित अनुरोध करना क्योंकि वे मुख्य रूप से उपयोगकर्ता डेटा जमा करने के लिए हैं.

पाठ विन्यास फ़ाइल को स्वयं बदलने में आपकी निर्देशिकाओं और उस फ़ाइल तक पहुंचने / संपादित करने की वास्तविक क्षमता के साथ एक समस्या का सुझाव है? आतंक नहीं होने के कारण, लेकिन आपके द्वारा दर्ज किए गए इनपुट को बदल दिया गया है . मुझे नहीं लगता कि यह एक पाठ फ़ाइल समस्या है.