Jump to content

Проблема с robots.txt


Recommended Posts

Такая проблема, сайт не индексировался в поисковиках, писал что заблокирован доступ к robots.txt, когда открыл там была строка "Disallow: /", убрал ее и гугл начал индексировать нормально сайт, а в яндексе пишет "Наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует.". Вот текст файла, может кто то увидит ошибку:

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /password-recovery
Disallow: /address
Disallow: /addresses
Disallow: /authentication
Disallow: /cart
Disallow: /discount
Disallow: /order-history
Disallow: /identity
Disallow: /my-account
Disallow: /order-follow
Disallow: /order-slip
Disallow: /order
Disallow: /search
Disallow: /quick-order
Disallow: /guest-tracking
# Sitemap
Host: instyle-dnepr.com.ua
Sitemap: http://instyle-dnepr.com.ua/1_index_sitemap.xml

И еще есть вопрос по заголовкам, заголовок выставляется в Настройки->SEO и URLs->index, но на всех сайтах где я пытался делать анализ выдает 2 раза заголовок, откуда он берется? Прикрепил скрин
 

post-905075-0-20219000-1444375627_thumb.jpg

Share this post


Link to post
Share on other sites

# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/

поменяйте, чтобы звездочек не было.

  • Like 1

Share this post


Link to post
Share on other sites

 

И еще есть вопрос по заголовкам, заголовок выставляется в Настройки->SEO и URLs->index, но на всех сайтах где я пытался делать анализ выдает 2 раза заголовок, откуда он берется?

 

Настройки - контакты магазина - название магазина

 

 

Такая проблема, сайт не индексировался в поисковиках, писал что заблокирован доступ к robots.txt, когда открыл там была строка "Disallow: /", убрал ее и гугл начал индексировать нормально сайт, а в яндексе пишет "Наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует.".

 

В вебмастере яндекса можете вручную загрузить файл robots.txt и проверить.

Share this post


Link to post
Share on other sites

  • 4 weeks later...

Специально профиль здесь создала, чтобы ответить на Ваш вопрос. Я не спец., просто много прочитала инфы на эту тему в последнее время. Мне кажется, что не хватает "спец. обращения" к Яндексу. Для всех ботов пишем:

 

User-agent: *

 

А для Яндекса отдельно:

 

User-agent: Yandex

 

И в конце еще прописываем наш домен:

 

Host: www.вашсайт.ru

 

Т.е. обычный robot.txt для wordpress будет таким:

 

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
 
User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: www.вашсайт.ru

 

 

  • Like 1

Share this post


Link to post
Share on other sites

Такая проблема, сайт не индексировался в поисковиках, писал что заблокирован доступ к robots.txt, когда открыл там была строка "Disallow: /", убрал ее и гугл начал индексировать нормально сайт, а в яндексе пишет "Наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует.". Вот текст файла, может кто то увидит ошибку:

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /password-recovery
Disallow: /address
Disallow: /addresses
Disallow: /authentication
Disallow: /cart
Disallow: /discount
Disallow: /order-history
Disallow: /identity
Disallow: /my-account
Disallow: /order-follow
Disallow: /order-slip
Disallow: /order
Disallow: /search
Disallow: /quick-order
Disallow: /guest-tracking
# Sitemap
Host: instyle-dnepr.com.ua
Sitemap: http://instyle-dnepr.com.ua/1_index_sitemap.xml

И еще есть вопрос по заголовкам, заголовок выставляется в Настройки->SEO и URLs->index, но на всех сайтах где я пытался делать анализ выдает 2 раза заголовок, откуда он берется? Прикрепил скрин

 

У меня нормально заглатывал несколько раз. Трудностей не возникало. Не разделял по поисковикам.

Просто яндекс странный поисковик, со своими "приколами".

Вероятно он просто запомнил, что у вас стоял запрет и продолжает "не видеть" сайт.

Пробовали перезалить файл роботс заново в яндекс метриках?

Share this post


Link to post
Share on other sites

  • 2 weeks later...

Всем спасибо за ответы, помог пост webprog ,после того как убрал звездочки через пару дней начал индексироваться сайт и сейчас в поиске 1400 страниц почти))

Edited by TREXIG (see edit history)

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share

×
×
  • Create New...

Important Information

Cookies ensure the smooth running of our services. Using these, you accept the use of cookies. Learn More