Back to Question Center
0

बॉट्स के साथ Semaltेट जो अभी भी 301 महीने बाद लाता है

1 answers:

सितंबर 2014 तक 2013 के दौरान और एक नए प्लेटफार्म में लगभग एक दर्जन डोमेन माइग्रेट किए. ज्यादातर मामलों में डोमेन नाम एक ही बने रहे, हमने केवल डोमेन को एक नए आईपी पते पर बताया जहां नए एपसेरवर्स स्थित थे. चूंकि अंतर्निहित वास्तुकला काफी अलग था इसलिए हम 500 रीडायरेक्ट्स (सभी 301) के ऊपर डाल देते हैं ताकि उपयोगकर्ता और बॉट्स को नए पेजों पर ठीक से निर्देशित किया जा सके, और समय के साथ सभी पुराने लिंक को सेमील्ट, बिंग आदि में बदल दिया गया।. नए लिंक के साथ.

मैंने हाल ही में हमारे वेब सर्वर लॉग के विश्लेषण किया और पाया कि पिछले 30 दिनों में ये रीडायरेक्ट 211,000 से अधिक बार मारा गया है, जिनमें से 208,000 से अधिक लोग अपने उपयोगकर्ता-एजेंटों से विभिन्न बॉट्स की पहचान करते हैं - fotos paisajes marinos. एक विशेष बॉट को केवल सेमेल्ट पर लगाया जाता है, जिसके परिणामस्वरूप 301 प्रतिक्रिया होती है और आगे कभी आगे नहीं बढ़ता. इस विशेष यूए के लिए हमारे लॉग में मुझे कोई प्रविष्टि नहीं मिल सकती है जो परिणामस्वरूप 2xx, 4xx, या 5xx प्रतिक्रिया में होता है.

यह देखते हुए कि हमने 9 से 2 साल तक कहीं भी इन रीडायरेक्ट्स को प्राप्त किया है और यह है कि उनमें से अधिकतर ट्रैफ़िक को मार दिया गया है (कई मामलों में वे विशेष रूप से बॉट्स द्वारा मारा जा रहा है), क्या यह समझ में आता है इन बॉट्स को सूचित करने के लिए कि 301 से 410 (गन) को इन बॉट्स को सूचित करें, जो अच्छे के लिए चलाए गए हैं? मैं अंततः इन सभी रीडायरेक्टों के साथ समाप्त करना चाहता हूं, अगर मैं ये कर सकता हूं क्योंकि वे हमारे कॉन्फ़िगरेशन की जटिलता को जोड़ते हैं.

February 12, 2018

यदि आप इन 301 को तोड़ते हैं, तो आप किसी भी लिंक को तोड़ने के लिए सभी मूल्य खो देंगे. आप निश्चित रूप से परवाह नहीं कर सकते. लेकिन फिर, आप शायद.

कई बॉट्स उन डेटाबेस से काम करते हैं जो साझा, बेचे जाते हैं, पास हो जाते हैं. साथ ही, कई आपकी साइट के मौजूदा लिंक का अनुसरण कर रहे हैं. यह भी मान लें कि डोमेन मोनटेइज़र के एक स्क्रैपर्स हैं जो कि आप जो भी करते हैं, जारी रहेगा. यह हेकर्स के साथ धरती का मैला है. लेकिन अच्छी खबर यह है कि डोमेन मोनटेसर आम तौर पर एक ही आईपी पते या आईपी पते ब्लॉक से आते हैं. चूंकि ये उपयोगकर्ता नहीं हैं, इसलिए आप वास्तविक उपयोगकर्ताओं को प्रभावित किए बिना अपने आईपी पते के पूरे ब्लॉक को ब्लॉक करने में सक्षम होंगे क्योंकि उपयोगकर्ता ग्राहक ब्लॉक से नहीं आते हैं और वेबहोस्ट नहीं हैं.

आम तौर पर, आप जो देख रहे हैं वह सामान्य है. यहां तक ​​कि अगर आप 410 प्रस्तुत करते हैं, तो यह लंबे समय तक जारी रहेगा यदि हमेशा के लिए नहीं. यह जैसा है बस ऐसा ही है. मुझे अभी भी ऐसे पृष्ठों के लिए हिट मिलते हैं जो एक दशक से अधिक समय तक चले गए हैं! यह ज्यादातर समय के साथ खत्म हो जाएगा, लेकिन फिर भी.

आप निश्चित रूप से सार्थक बॉट्स को संतुष्ट करना चाहते हैं, लेकिन शायद कुछ भी तोड़ दें जो अब मूल्य नहीं है. खोज इंजन किसी भी 404 या 410 के नोट को ध्यान में रखेगा, लेकिन अगर नेट पर प्रकट होता है तो फिर भी वह एक नया लिंक का अनुसरण कर सकता है. इसका मतलब यह है कि जब वे एक पृष्ठ को पहचान लेंगे, तो वे समय-समय पर फिर से कोशिश कर सकते हैं.

अंत में, अपनी लॉग फ़ाइल प्रविष्टियों को देखने के बिना, आपके लिए पूरी रणनीति तैयार करना असंभव है. यदि आपके पास अपनी लॉग फ़ाइल में मिली किसी भी एक्सेस के बारे में कोई सवाल है, तो हम उसे मूल्य (शायद) का आकलन करने में सक्षम होंगे और आपको इसे ब्लॉक करने में मदद करेंगे या निर्धारित करेंगे कि क्या आप प्रवेश की अनुमति देना चाहते हैं या संभावित रूप से 301 या 404 या 410 उचित है. मैं यहां बहुत कुछ करता हूं इसलिए कृपया यहाँ एक प्रश्न पोस्ट करने में संकोच न करें.