Jump to content

Uso de robots.txt y /shop/*?


Rodolfo

Recommended Posts

Hola, viendo los miles de paginas que google no encuentra, o da errores HTTP...

se me ha ocurrido (tampoco tengo mucha idea) incluir esta línea en robots.txt

/shop/*?

La idea es que no intente indexar lineas de este estilo...

Detalles Detectado
http://www.elcartuc***erudolph.com/shop/10-xbox-360?n=10&%3Bamp%25253Bamp%2525252525253B%2525252525253B%2525252525253Bisolang=es&%3Bamp%25253Bamp%2525252525253B%2525252525253B%2525252525253Bid_lang=3&orderby=quantity&orderway=desc&p=8&id_category=10

Diciendole que si tiene la URL el simbolo ?, pues que no la indexe.

A dia de hoy 4200 errores HTTP.

Alguien sabe si esto es una burrada? porque yo creo que las paginas que queremos mostrar en prestashop, nunca llevan un ?, al menos las que queremos que indexe google no?

¿Que me decis?

Un saludo
RODOLFO

Link to comment
Share on other sites

No te recomiendo que hagas eso, no es cororrecto..te puedes encontrar con mucha url de productos que no sean accesibles.


No se si sera por esto, ayer estuve haciendo cambios, genere de nuevo sitemap...de 4000 URL indexadas a esto

Sitemap Estado Tipo Descargado URL enviadas URL en el índice de páginas web

/shop/sitemap.xml
Sitemap 22/05/2011 11.372 0

O sea 0 URL en el índice de páginas web

Pèro google me sigue mostrando, no veo cambios...

Mando robots.txt

Lo del principio no lo pongo, porque no hubo cambios...


Disallow: /shop/7-juegos
Disallow: /shop/149-ereaders
Disallow: /shop/32-acer
Disallow: /shop/41-asus
Disallow: /shop/33-HP
Disallow: /shop/34-MSI
Disallow: /shop/35-Point of View
Disallow: /shop/42-samsung
Disallow: /shop/content/10-Google Map
Disallow: /shop/content/8-Google Map
Disallow: /shop/*?
Disallow: /shop/7-Juegos
Disallow: http://www.elcartuchoderudolph.com/shop/varios/1255-pulseras-decenario-sara-carbonero-30-por-27.html
Sitemap: http://www.elcartuchoderudolph.com/shop/sitemap.xml

Que URL de productos puede no mostras? Ayer estuve navegando a ver si habia alguna URL con ? y no vi ninguna. Solo las vi cuando ordenaba productos en categorias y cosas asi.

Que filtro pondríais para eliminar todos esos errores?

Sera que esta reindexando google? sera que me he cepillado todo con este robots?
Saludos
Link to comment
Share on other sites

Hola, viendo los miles de paginas que google no encuentra, o da errores HTTP...

se me ha ocurrido (tampoco tengo mucha idea) incluir esta línea en robots.txt

/shop/*?

La idea es que no intente indexar lineas de este estilo...

Detalles Detectado
http://www.elcartuc***erudolph.com/shop/10-xbox-360?n=10&;amp%253Bamp%25252525253B%25252525253B%25252525253Bisolang=es&;amp%253Bamp%25252525253B%25252525253B%25252525253Bid_lang=3&orderby=quantity&orderway=desc&p=8&id_category=10

Diciendole que si tiene la URL el simbolo ?, pues que no la indexe.

A dia de hoy 4200 errores HTTP.

Alguien sabe si esto es una burrada? porque yo creo que las paginas que queremos mostrar en prestashop, nunca llevan un ?, al menos las que queremos que indexe google no?

¿Que me decis?

Un saludo
RODOLFO



Tras 24h HTTP ‎(3.494)‎ errores. Ha bajado un huevo. Veremos si sigue bajando asi.
Link to comment
Share on other sites

Hola, viendo los miles de paginas que google no encuentra, o da errores HTTP...

se me ha ocurrido (tampoco tengo mucha idea) incluir esta línea en robots.txt

/shop/*?

La idea es que no intente indexar lineas de este estilo...

Detalles Detectado
http://www.elcartuc***erudolph.com/shop/10-xbox-360?n=10&;amp%3Bamp%252525253B%252525253B%252525253Bisolang=es&;amp%3Bamp%252525253B%252525253B%252525253Bid_lang=3&orderby=quantity&orderway=desc&p=8&id_category=10

Diciendole que si tiene la URL el simbolo ?, pues que no la indexe.

A dia de hoy 4200 errores HTTP.

Alguien sabe si esto es una burrada? porque yo creo que las paginas que queremos mostrar en prestashop, nunca llevan un ?, al menos las que queremos que indexe google no?

¿Que me decis?

Un saludo
RODOLFO



Tras 24h HTTP ‎(3.494)‎ errores. Ha bajado un huevo. Veremos si sigue bajando asi.


3242 y bajando
Link to comment
Share on other sites

No te recomiendo que hagas eso, no es cororrecto..te puedes encontrar con mucha url de productos que no sean accesibles.


Hola, 4webs muchas gracias por tu comentario y tus validos aportes. Me puedes explicar porque a lo mejor me deja productos sin indexar?

Tiene algo que ver con que ahora y espero que de momento, y debido a todos los cambios que he hecho tenga en el listado de URL indexadas un 0 patatero? Crees que es normal esto al cambiar el robots y borrar muchos articulos?

Muchas gracias
RODOLFO
Link to comment
Share on other sites

Hola, viendo los miles de paginas que google no encuentra, o da errores HTTP...

se me ha ocurrido (tampoco tengo mucha idea) incluir esta línea en robots.txt

/shop/*?

La idea es que no intente indexar lineas de este estilo...

Detalles Detectado
http://www.elcartuc***erudolph.com/shop/10-xbox-360?n=10&;amp;amp%2525253B%2525253B%2525253Bisolang=es&;amp;amp%2525253B%2525253B%2525253Bid_lang=3&orderby=quantity&orderway=desc&p=8&id_category=10

Diciendole que si tiene la URL el simbolo ?, pues que no la indexe.

A dia de hoy 4200 errores HTTP.

Alguien sabe si esto es una burrada? porque yo creo que las paginas que queremos mostrar en prestashop, nunca llevan un ?, al menos las que queremos que indexe google no?

¿Que me decis?

Un saludo
RODOLFO



Tras 24h HTTP ‎(3.494)‎ errores. Ha bajado un huevo. Veremos si sigue bajando asi.


3242 y bajando


Algo hay mal, os enseño el resultado,

Errores 404 leves ‎(5)‎ HTTP ‎(2.990)‎ Inaccesible ‎(49)‎ No se ha encontrado ‎(270)‎ Restringida por robots.txt ‎(100.000)‎

100.000 URL's restringidas en robots.txt?

Pero 404 solo 5¡¡¡ ya hemos bajado casi 1000 las HTTP, y el resto bajando...

Problemas, sigo a 0 en el numero de URL's en la web, aunque sigo apareciendo como siempre.... y esto del robots, tiende a infinito....

Alguien tiene alguna opinion?

RODOLFO
Link to comment
Share on other sites

Ahora parece que Google va colocando todo de nuevo...Os adjunto informacion

Sitemap Estado Tipo Descargado URL enviadas URL en el índice de páginas web

/shop/sitemap.xml
Sitemap 29/05/2011 11.372 1.320


Errores 404 leves ‎(4)‎ HTTP ‎(2.521)‎ Inaccesible ‎(29)‎ No se ha encontrado ‎(270)‎ Restringida por robots.txt ‎(100.000)‎

Ya me figuran 1320 URL en el indice, y ha bajado los errores HTTP a 2521.

Lo que me parece flipante es que ha llegado a 100.000 las restringidas por robots.txt, supongo que sera un limite, porque de ahi parece que no sube a mas.

RODOLFO

Link to comment
Share on other sites

Guest
This topic is now closed to further replies.
×
×
  • Create New...