Jump to content
unikum

Was passiert wenn ich robots.txt lösche ?

Recommended Posts

Prestashop 1.6.18

Hallo - ich habe immer wieder Meldung von der Google Indexierung, dass ein paar Seiten durch robots.txt blockiert sind, auch ist mein neuer shop im  vergleich zum 1.4.9 extrem viel schlechter in dem Ranking bei google. Er ist unauffindbar, obwohl ich die gleiche texte, seo- adressen etc übernommen habe. Während mein alter shop auf platz 2 rankt bei gewissen suchbegriffen ist der neue einfach unauffindbar und nur wenige Produkte werden überhaupt gefunden.

Ich werde jetzt einfach mal die robots.txt löschen und schaue ob sich was änder.

Gehe ich damit ein Sicherheitsrisiko ein ?

 

Viele Grüsse

Stefan

Share this post


Link to post
Share on other sites

Was soll das bringen? I.d,R. sind sie Seiten, die per default durch die robots.txt gesperrt werden für die Position in den Serps unerheblich.

Sind beide Shops parallel online? Hat der neue Sop die gleiche url wie der alte?

Wie lange ist der neue Shop schon  online?

Grüsse
Whiley

Share this post


Link to post
Share on other sites

Sofern beide Shops parallel laufen und die Inhalte / Texte identisch sind, kann es sein, daß Google da doppelten Content erkennt und den alten, bekannten Shop bevorzugt (beim neuen könnte es sich ja um eine unautorisierte Kopie handeln ...). Hast du die Google Sitemap erstellt und die Adresse Google im Webmasterbereich mitgeteilt?

Welche Seiten werden durch die robots.txt gesperrt, sind da relevante Seiten dabei? Welche Seiten indexiert werden sollen, läßt sich ja zumindest teilweise in Prestashop einstellen. Ggf. kannst du dir ja einfach auch einmal den Inhalt der robots.txt anschauen.

Share this post


Link to post
Share on other sites

Ja ich habe den Shop im im Google Webmasterbereich angemeldet und die Seiten sind auch indiziert gemäss Bericht. Und ja, die Artikel wurden seinerzeit importiert, also sind Produktebeschreibung nahezu identisch.  Ich habe eine minimalistische Hauptseite "einradshop.ch" die auf Platz 1 rankt, die dann auf einen Unterordner verweist, beim alten Shop hiess der /einrad-kaufen/ und beim neuen /einrad-kaufen-schweiz. Bei den Suchbegriffen "einrad" und "einrad kaufen" erscheint nur mein alter Shop in den Suchresultaten.  Nur mit den Begriffen einrad kaufen schweiz erscheint der neue Shop auch auf Platz 3.

Mein Ziel wäre es eigentlich den alten Shop zu löschen, sobald der neue auch gefunden wird. Einzelne Artikel werden aber durchaus gut gefunden, aber am Wichtigsten ist es mir dass die Hauptseite in Google erscheint. Ab und zu habe ich dann in der search Konsole von Google, dass Seiten durch robots.txt blockiert sind, das sind nicht viele 2, 3 Stück und meistens leere, deaktivierte Kategorien. Ich dachte das könnte sich vielleicht negativ aufs Ranking auswirken, deshalb mein Gedanke robots.txt zu löschen. 

Mit dem Sitemap das in Prestashop integriert ist, aktualisiere ich auch ständig die Sitemap.

Mein neuer Shop müsste eigentlich auf der ersten google Seite in der Suche auftauchen , da es wie gesagt sehr wenige Shops gibt die Einräder verkaufen, doch das tut er nicht. Augeschaltet ist er seit ca. April.

 

Robots.txt: Wird ja von Prestashop generiert. Ich ändere da nichts. Mittlerweile habe ich es nun mal einfach gelöscht und meine Frage ist, ob das irgendwie gefährlich sein kann für die Sicherheit meines Shops

Edited by unikum

Share this post


Link to post
Share on other sites

Man könnte ja mal schauen, wenn du den Namen deines alten Shops verraten würdest, ich kann hier aus Deutschland unter "einrad kaufen" zahlreiche Shops finden, es scheint aber keiner von dir dabei zu sein, bei einer Suche in der Schweiz ist das möglicherweise anders. Mit "einrad kaufen schweiz" finde ich zwei Seiten von dir, die aber zum gleichen Shop linken.

Du kannst die robots.txt löschen, nur werden Suchmaschinen dann evtl. Seiten indizieren, die nicht dafür geeignet sind (normalerweise finden sich Anweisungen für die Robots aber auch in den einzelnen Seiten). Es könnte auch sein, daß Prestashop die robots.txt bei nächster Gelegenheit wieder generiert. Auswirkungen auf die Sicherheit des Shops hat die robots.txt nicht, da sie lediglich Empfehlungscharakter hat und deshalb von unseriösen Crawlern sowieso nicht beachtet wird.

Die deutlich bessere Suchmaschinen-Positionierung deines alten Shops kann auch damit zusammenhängen, daß vielleicht zahlreiche Internetseiten dahin verlinken. Am besten wäre es wohl, wenn du den neuen Shop auf die alte Domain ziehst und wenn möglich auch schaust daß die URLs die gleichen sind. Oder du mußt Google mitteilen, daß der neue Shop dem alten vorzuziehen ist, soviel ich erinnere gab es da eine Einstellung.

Share this post


Link to post
Share on other sites

Nun das ganze hat sich irgendwie gelöst. Dass robots.txt gelöscht wurde hatte bisher keine negativen Auswirkungen. Und Plötzlich rankt mein neuer Shop super in Google, zumindest die Startseite. Bei sämtlichen Suchberiffen "einrad" "einrad kaufen" etc.  liegt er nun vorne.

Ob die Fehlermeldungen bezüglich durch robots blockierte Seiten im Google websiten tool ein gutes Ranking verhinderten oder die Tatsache, dass ich auf geratewohl noch ein bisschen an der Metabeschreibung gefeilt habe weiss ich nicht. 

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

×

Important Information

Cookies ensure the smooth running of our services. Using these, you accept the use of cookies. Learn More