Jump to content

Проблема с robots.txt


Recommended Posts

Такая проблема, сайт не индексировался в поисковиках, писал что заблокирован доступ к robots.txt, когда открыл там была строка "Disallow: /", убрал ее и гугл начал индексировать нормально сайт, а в яндексе пишет "Наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует.". Вот текст файла, может кто то увидит ошибку:

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /password-recovery
Disallow: /address
Disallow: /addresses
Disallow: /authentication
Disallow: /cart
Disallow: /discount
Disallow: /order-history
Disallow: /identity
Disallow: /my-account
Disallow: /order-follow
Disallow: /order-slip
Disallow: /order
Disallow: /search
Disallow: /quick-order
Disallow: /guest-tracking
# Sitemap
Host: instyle-dnepr.com.ua
Sitemap: http://instyle-dnepr.com.ua/1_index_sitemap.xml

И еще есть вопрос по заголовкам, заголовок выставляется в Настройки->SEO и URLs->index, но на всех сайтах где я пытался делать анализ выдает 2 раза заголовок, откуда он берется? Прикрепил скрин
 

post-905075-0-20219000-1444375627_thumb.jpg

Link to comment
Share on other sites

 

И еще есть вопрос по заголовкам, заголовок выставляется в Настройки->SEO и URLs->index, но на всех сайтах где я пытался делать анализ выдает 2 раза заголовок, откуда он берется?

 

Настройки - контакты магазина - название магазина

 

 

Такая проблема, сайт не индексировался в поисковиках, писал что заблокирован доступ к robots.txt, когда открыл там была строка "Disallow: /", убрал ее и гугл начал индексировать нормально сайт, а в яндексе пишет "Наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует.".

 

В вебмастере яндекса можете вручную загрузить файл robots.txt и проверить.

Link to comment
Share on other sites

  • 4 weeks later...

Специально профиль здесь создала, чтобы ответить на Ваш вопрос. Я не спец., просто много прочитала инфы на эту тему в последнее время. Мне кажется, что не хватает "спец. обращения" к Яндексу. Для всех ботов пишем:

 

User-agent: *

 

А для Яндекса отдельно:

 

User-agent: Yandex

 

И в конце еще прописываем наш домен:

 

Host: www.вашсайт.ru

 

Т.е. обычный robot.txt для wordpress будет таким:

 

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
 
User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: www.вашсайт.ru

 

 

  • Like 1
Link to comment
Share on other sites

Такая проблема, сайт не индексировался в поисковиках, писал что заблокирован доступ к robots.txt, когда открыл там была строка "Disallow: /", убрал ее и гугл начал индексировать нормально сайт, а в яндексе пишет "Наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует.". Вот текст файла, может кто то увидит ошибку:

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /password-recovery
Disallow: /address
Disallow: /addresses
Disallow: /authentication
Disallow: /cart
Disallow: /discount
Disallow: /order-history
Disallow: /identity
Disallow: /my-account
Disallow: /order-follow
Disallow: /order-slip
Disallow: /order
Disallow: /search
Disallow: /quick-order
Disallow: /guest-tracking
# Sitemap
Host: instyle-dnepr.com.ua
Sitemap: http://instyle-dnepr.com.ua/1_index_sitemap.xml

И еще есть вопрос по заголовкам, заголовок выставляется в Настройки->SEO и URLs->index, но на всех сайтах где я пытался делать анализ выдает 2 раза заголовок, откуда он берется? Прикрепил скрин

 

У меня нормально заглатывал несколько раз. Трудностей не возникало. Не разделял по поисковикам.

Просто яндекс странный поисковик, со своими "приколами".

Вероятно он просто запомнил, что у вас стоял запрет и продолжает "не видеть" сайт.

Пробовали перезалить файл роботс заново в яндекс метриках?

Link to comment
Share on other sites

  • 2 weeks later...

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
×
×
  • Create New...