PS 1.7 генерация robots.txt

[Aquard]

PS 1.7 сгенерировал свой robots.txt, но search console ругается на заблокированные ресурсы
*/themes/classic/assets/cache/theme-4cae47.css
*/themes/classic/assets/cache/bottom-6d1100.js
*/themes/classic/assets/cache/bottom-cba55a.js
*/themes/classic/assets/cache/theme-6677b0.css
указывая, что ему мешает директива Disallow: */cache/
что лучше удалить эту строку или может просто добавить
Allow: */themes/*.css
Allow: */themes/*.js

[Kerm]

PS 1.7 сгенерировал свой robots.txt, но search console ругается на заблокированные ресурсы

*/themes/classic/assets/cache/theme-4cae47.css

*/themes/classic/assets/cache/bottom-6d1100.js

*/themes/classic/assets/cache/bottom-cba55a.js

*/themes/classic/assets/cache/theme-6677b0.css

указывая, что ему мешает директива Disallow: */cache/

что лучше удалить эту строку или может просто добавить

Allow: */themes/*.css

Allow: */themes/*.js

 

А какой смысл Вам индексировать Ваши .css и js файлы??? в них что есть контент для индексации?

[Aquard]

А какой смысл Вам индексировать Ваши .css и js файлы??? в них что есть контент для индексации?

гуглу зачем-то надо, без них хочет занижать позицию в поиске..

 

добавил строки и закомментировал Disallow: */css/

помогло.

Edited February 8, 2017 by Aquard (see edit history)

[AlexGGG]

Может для того, чтобы робот гугля понимал как будет выглядеть сайт, например, на телефоне, и соответственно ранжировал его в выдаче.

[Евгений Медведев]

Может для того, чтобы робот гугля понимал как будет выглядеть сайт, например, на телефоне, и соответственно ранжировал его в выдаче.

 

Для этого их не надо индексировать. Нужно обработать библиотеками интерпретации HTML,JS,CSS (которые в том числе и в браузере используются) и результирующий код передать дальше на обработку. Индексация нужна для тех страниц, ссылки на которые будут появляться в поисковой выдаче. Какое дело гуглу до robotx.txt? Странный он какой-то.