Problema Con Webmaster Tool Recursos Bloqueados

[vickthikor]

Hola,
 
 
Tengo un problema ya de casi un año con WEBMASTER TOOL dice que tengo unas cuantas Advertencias indice de sistemaps 532 en concreto y  Recursos bloqueados robot.txt 1330 para ser mas exactos
 
 
En la parte de Recursos bloqueados de Robot.txt  dice que tengo muchos archivos .CSS bloqueados y por eso las paginas de productos están bloqueadas ... en concreto me parece que la linea robot.txt de bloquea esto es la siguiente:

 

Disallow: */modules/

 

que viene por defecto en prestashop y me bloquea las siguientes paginas:

 

  Recurso bloqueado Páginas afectadas 1

http://www.edenhogar.com/modules/elevatezoom/css/styles.css

1.331

2

http://www.edenhogar.com/modules/tptnthemeconfig/css/configstyle.css

1.331

3

http://www.edenhogar.com/modules/homesliderpro/css/font-awesome.css

 
......

 

entre otras... y cada una de estos me bloqueo me bloquea los 1330 productos

 

 

mi pregunta es si alguien ¿me podría decir exactamente si es normal que robot.txt bloquee esta información y paginas CSS? 

 

o debería dejar que google entrara a estas paginas para que las leyera

 

 

adjunto algunas imagenes

 

 

 

[Enrique Gómez]

Si, es normal.

http://jordiob.com/2015/07/solucionar-en-prestashop-el-robot-de-google-puede-acceder-los-archivos-css-y-js/

 

En el robots.txt modificamos la línea de texto de modules por esto:

Disallow: /modules/
Allow: /modules/*.js
Allow: /modules/*.css

[vickthikor]

Los he modificado y ahora el robot.txt de google (cuando lo mando a que revise 1 url) este puede ver bien la web al rastrearla

 

Lo que pasa es que aun continua los errores de rastreo ahí... he visto que en la mayoría existe una secuencia que se repite, es que en ellos aparece la palabra /modules/   de la url del archivo que esta bloqueando. Ademas existe unas 6 js 

 

  Recurso bloqueado Páginas afectadas 1

http://www.edenhogar.com/themes/MegaShop/js/tools/treeManagement.js

1.274

2

http://www.edenhogar.com/themes/MegaShop/css/modules/blocksearch/blocksearch.css

768

3

http://www.edenhogar.com/themes/MegaShop/css/modules/blocknewsletter/blocknewsletter.css

754

4

http://www.edenhogar.com/modules/elevatezoom/css/styles.css

754

5

http://www.edenhogar.com/modules/tptntoplinks/js/tptncarousel.js

734

6

http://www.edenhogar.com/themes/MegaShop/js/modules/blocktopmenu/js/hoverIntent.js

733

7

http://www.edenhogar.com/modules/tptnthemeconfig/js/configjs.js

722

8

http://www.edenhogar.com/modules/paypal/views/css/paypal.css

721

9

http://www.edenhogar.com/themes/MegaShop/css/modules/blockcart/blockcart.css

720

10

http://www.edenhogar.com/modules/homesliderpro/css/font-awesome.css

720

11

http://www.edenhogar.com/themes/MegaShop/css/modules/blockcurrencies/blockcurrencies.css

720

12

http://www.edenhogar.com/themes/MegaShop/css/modules/blockcategories/blockcategories.css

720

13

http://www.edenhogar.com/themes/MegaShop/css/modules/productscategory/productscategory.css

720

14

http://www.edenhogar.com/themes/MegaShop/css/modules/blocktopmenu/css/superfish-modified.css

720

15

http://www.edenhogar.com/themes/MegaShop/css/modules/productcomments/productcomments.css

720

16

http://www.edenhogar.com/modules/tptnthemeconfig/css/configstyle.css

720

17

http://www.edenhogar.com/themes/MegaShop/css/modules/blockspecials/blockspecials.css

720

18

http://www.edenhogar.com/themes/MegaShop/css/modules/blocklanguages/blocklanguages.css

720

19

http://www.edenhogar.com/modules/editorial/editorial.css

720

20

http://www.edenhogar.com/modules/homesliderpro/css/styles.css

719

21

http://www.edenhogar.com/themes/MegaShop/css/modules/crossselling/crossselling.css

713

22

http://www.edenhogar.com/modules/tptntoplinks/js/jquery.cookie.js

702

23

http://www.edenhogar.com/modules/homesliderpro/js/slidereverywhere.js

702

24

http://www.edenhogar.com/modules/productscategory/productscategory.js

702

25

http://www.edenhogar.com/modules/contentboxtabhome/content//SpryTabbedPanels.js

702

26

http://www.edenhogar.com/modules/crossselling/js/crossselling.js

702

27

http://www.edenhogar.com/modules/tptntoplinks/js/touchSwipe.js

702

28

http://www.edenhogar.com/modules/tptnthemeconfig/js/colorpicker.js

702

29

http://www.edenhogar.com/themes/MegaShop/js/modules/blocktopmenu/js/superfish-modified.js

701

30

http://www.edenhogar.com/modules/elevatezoom/js/jquery.elevatezoom.min.js

695

31

http://www.edenhogar.com/modules/tptntoplinks/js/tptnscript.js

695

32

http://www.edenhogar.com/themes/MegaShop/js/modules/blockcart/ajax-cart.js

694

33

http://www.edenhogar.com/modules/productcomments/js/jquery.textareaCounter.plugin.js

628

34

http://www.edenhogar.com/modules/prestaqna/js/prestaqna.js

622

35

http://www.edenhogar.com/modules/productcomments/js/productcomments.js

618

36

http://www.edenhogar.com/modules/productcomments/js/jquery.rating.pack.js

618

37

http://www.edenhogar.com/modules/prestaqna/js/jquery.validate.min.js

618

38

http://www.edenhogar.com/modules/prestaqna/css/prestaqna.css

618

39

http://www.edenhogar.com/modules/extrainfo/extrainfo.css

618

40

http://www.edenhogar.com/modules/productcomments/img/star.gif

572

41

http://www.edenhogar.com/modules/carriercompare/style.css

467

42

http://www.edenhogar.com/modules/carriercompare/carriercompare.js

458

43

http://www.edenhogar.com/modules/mailalerts/mailalerts.css

206

44

http://www.edenhogar.com/modules/mailalerts/mailalerts.js

206

45

http://www.edenhogar.com/modules/contentboxfacetas/content//script.js

102

46

http://www.edenhogar.com/themes/MegaShop/css/modules/blocklayered/blocklayered-15.css

87

47

http://www.edenhogar.com/modules/blocklayered/blocklayered.js

79

48

http://www.edenhogar.com/img/logo.jpg?1452273337

50

49

http://www.edenhogar.com/chat/ressource.php?t=js&1=jscript/jsglobal.min.js&2=jscript/jsbox.min.js&3=jscript/jstrack.min.js&4=overlays/chat/jscript/jsextern.min.js

8

50

http://www.edenhogar.com/chat/ressource.php?t=css&1=style.min.css&2=overlays/chat/style.min.css

8

51

http://www.edenhogar.com/modules//homesliderpro/images/resize_ax_citterio-2.jpg

2

52

http://www.edenhogar.com/modules//homesliderpro/images/resize_large_axor_starck_v_2b1a25.jpg

2

53

http://www.edenhogar.com/modules/tptncolbanner/images/swisstrax.png

2

54

http://www.edenhogar.com/modules/tptnhomeslider/css/tptnsliderstyle.css

1

55

http://www.edenhogar.com/modules//homesliderpro/images/resize_Bouroullec1.jpg

1

56

http://www.edenhogar.com/modules//homesliderpro/images/resize_Bouroullec2.jpg

1

57

http://www.edenhogar.com/modules//homesliderpro/images/resize_ax_citterio-.jpg

1

58

http://www.edenhogar.com/modules//homesliderpro/images/resize_large_axor_starck_v_b1a25.jpg

1

 

 

 

 

 

En el Robot.txt como he añadido  lo siguiente: 

 

 

Disallow: /modules/

Allow: /modules/*.js

Allow: /modules/*.css

Allow: /modules/*.png

Allow: /modules/*.gif

Allow: /modules/*.jpg

 

 

 

 

[jordiob]

hola! los errores no desaparecen de un día para el otro, irán bajando. Para comprobar si los archivos son accesibles, lo mejor es usar la propia herramienta que da Search Console en Rastreo > Explorar como Google

 

https://www.google.com/webmasters/tools/googlebot-fetch

 

O comprobar si las URLs están accesibles o bloqueadas en Rastreo > Probador de robots.txt

 

https://www.google.com/webmasters/tools/robots-testing-tool

 

Asegúrate de que el robots esté actualizado a tu última versión dentro de Search Console.

 

Alternativamente, puedes usar un emulador de Googlebot para hacer los testings como Screaming Frog o BotSimulator (http://www.botsimulator.com/)