alexis_gyf Posted December 10, 2023 Share Posted December 10, 2023 Καλημέρα σε όλους. Μετα απο σύνδεση του eshop με το google merchant center έχω πολλές επισκέψεις στο eshop (προφανώς απο bots) με αποτέλεσμα το site να σέρνεται. Παλαιότερα είχα μπλοκάρει κάποιες Ips αλλα είχα θέμα με τον κατάλογο της google και έτσι τις αφαίρεσα πάλι. Υπάρχει κάποια ρύθμιση που μπορώ να κάνω σε htaceess ή robots.txt έτσι ώστε να τραβάει ο κατάλογος αλλα χωρίς τόσες επισκέψεις απο bots? Ευχαριστώ Link to comment Share on other sites More sharing options...
sanctusmob Posted December 10, 2023 Share Posted December 10, 2023 Δεν είναι λογικό αυτό που λες. Τι server έχεις? Για πόσα request μιλάμε? Από ποιες ips? Link to comment Share on other sites More sharing options...
Prestan0ob Posted December 13, 2023 Share Posted December 13, 2023 Άσχετο αλλά μπορείς να αφήσεις στο robots.txt μόνο το google απο search bots ή και το Bing. User-agent: * Disallow: / User-agent: Bingbot User-agent: Googlebot Αλλά αυτό δεν θα λύσει το πρόβλημα γιατί εάν έχεις πολύ traffic σε κάτι άλλο οφείλετε. Βασικά απο που κατάλαβες πως υπάρχει πρόβλημα? Link to comment Share on other sites More sharing options...
sanctusmob Posted December 14, 2023 Share Posted December 14, 2023 9 hours ago, Prestan0ob said: Άσχετο αλλά μπορείς να αφήσεις στο robots.txt μόνο το google απο search bots ή και το Bing. User-agent: * Disallow: / User-agent: Bingbot User-agent: Googlebot Αλλά αυτό δεν θα λύσει το πρόβλημα γιατί εάν έχεις πολύ traffic σε κάτι άλλο οφείλετε. Βασικά απο που κατάλαβες πως υπάρχει πρόβλημα? Αυτό που γράφεις είναι λάθος. Με το παραπάνω απλός λες σε όλα τα bot να μην κάνουν crawl. Αν δεν βάλεις directives στο google bot, bingbot απλός θα ακολουθήσουν το γενικό που είναι disallow στο root. Link to comment Share on other sites More sharing options...
Prestan0ob Posted December 14, 2023 Share Posted December 14, 2023 2 hours ago, sanctusmob said: Αυτό που γράφεις είναι λάθος. Με το παραπάνω απλός λες σε όλα τα bot να μην κάνουν crawl. Αν δεν βάλεις directives στο google bot, bingbot απλός θα ακολουθήσουν το γενικό που είναι disallow στο root. Σε αυτό φίλε μου δεν είσαι καλά ενημερωμένος. Είτε βάλεις allow είτε δεν βάλεις τίποτα είναι ακριβώς το ίδιο. Μπορείς να το δοκιμάσεις στο google Search console και όλα τα third party robots.txt tester. https://seranking.com/free-tools/robots-txt-tester.html https://studiohawk.com.au/robots-txt-validator-tester/ Link to comment Share on other sites More sharing options...
sanctusmob Posted December 14, 2023 Share Posted December 14, 2023 Άλλο αυτό που έγραψες πάνω και άλλο αυτό που έχεις στο print screen. Δεν κάνω λάθος... Quote Αν δεν βάλεις directives στο google bot, bingbot απλός θα ακολουθήσουν το γενικό που είναι disallow στο root. Αν βάλεις μόνο του κανόνες που έχεις γράψει δεν κάνει crawl. Link to comment Share on other sites More sharing options...
alexis_gyf Posted December 14, 2023 Author Share Posted December 14, 2023 On 12/10/2023 at 3:24 PM, sanctusmob said: Δεν είναι λογικό αυτό που λες. Τι server έχεις? Για πόσα request μιλάμε? Από ποιες ips? Ενω συνήθως το site εχει 10-15 Online visitors (dashboard) όταν έφτιαξα το sitemap, robots.txt και ανέβασα το feed products στο google merchant, έφτανε και 1500 online visitors. Όταν τελείωσε ο συγχρονισμός του feed μετα απο λίγες μέρες, έπεσε γύρω στους 40 online visitors. Οι ips μοιάζουν αρκετά μεταξύ τους σχεδόν όλες. Στο robots.txt έχω τα εξής User-agent: Googlebot Disallow: User-agent: AdsBot-Google Disallow: User-agent: Googlebot-Image Disallow: Link to comment Share on other sites More sharing options...
Prestan0ob Posted December 14, 2023 Share Posted December 14, 2023 (edited) 1 hour ago, sanctusmob said: Άλλο αυτό που έγραψες πάνω και άλλο αυτό που έχεις στο print screen. Δεν κάνω λάθος... Αν βάλεις μόνο του κανόνες που έχεις γράψει δεν κάνει crawl. Ναι, για το robots.txt του Prestashop μιλάμε. Δεν είναι λάθος αυτό που έγραψα. Λειτουργεί γιατί έχει παρακάτω τα Allow. 42 minutes ago, alexis_gyf said: Ενω συνήθως το site εχει 10-15 Online visitors (dashboard) όταν έφτιαξα το sitemap, robots.txt και ανέβασα το feed products στο google merchant, έφτανε και 1500 online visitors. Όταν τελείωσε ο συγχρονισμός του feed μετα απο λίγες μέρες, έπεσε γύρω στους 40 online visitors. Οι ips μοιάζουν αρκετά μεταξύ τους σχεδόν όλες. Στο robots.txt έχω τα εξής User-agent: Googlebot Disallow: User-agent: AdsBot-Google Disallow: User-agent: Googlebot-Image Disallow: Πρέπει να προσθέσεις και το: User-agent: * Disallow: / για να κάνει Disallow σε όλα τα άλλα bots. Edited December 14, 2023 by Prestan0ob (see edit history) Link to comment Share on other sites More sharing options...
sanctusmob Posted December 14, 2023 Share Posted December 14, 2023 50 minutes ago, Prestan0ob said: Ναι, για το robots.txt του Prestashop μιλάμε. Δεν είναι λάθος αυτό που έγραψα. Λειτουργεί γιατί έχει παρακάτω τα Allow. Εξαρτάτε που θα το προσθέσεις αυτό που έγραψες. Link to comment Share on other sites More sharing options...
Recommended Posts
Create an account or sign in to comment
You need to be a member in order to leave a comment
Create an account
Sign up for a new account in our community. It's easy!
Register a new accountSign in
Already have an account? Sign in here.
Sign In Now