Jump to content

Заблокированные URL в robots.txt


Recommended Posts

Содержание robots.txt:

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*utm_source=
Disallow: /*utm_medium=
Disallow: /*utm_campaign=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: /*classes/
Disallow: /*config/
Disallow: /*download/
Disallow: /*mails/
Disallow: /*modules/
Disallow: /*translations/
Disallow: /*tools/
# Files
Disallow: /*ru/password-recovery
Disallow: /*ru/address
Disallow: /*ru/aдреса
Disallow: /*ru/authentication
Disallow: /*ru/cart
Disallow: /*ru/discount
Disallow: /*ru/order-history
Disallow: /*ru/identity
Disallow: /*ru/my-account
Disallow: /*ru/order-follow
Disallow: /*ru/order-slip
Disallow: /*ru/order
Disallow: /*ru/search
Disallow: /*ru/quick-order
Disallow: /*ru/guest-tracking
Disallow: /*ru/
Disallow: /*uk/password-recovery
Disallow: /*uk/address
Disallow: /*uk/aдреса
Disallow: /*uk/authentication
Disallow: /*uk/cart
Disallow: /*uk/discount
Disallow: /*uk/order-history
Disallow: /*uk/identity
Disallow: /*uk/my-account
Disallow: /*uk/order-follow
Disallow: /*uk/order-slip
Disallow: /*uk/order
Disallow: /*uk/search
Disallow: /*uk/quick-order
Disallow: /*uk/guest-tracking
Disallow: /*uk/
# Sitemap
Sitemap: http://snacks-club.com.ua/1_index_sitemap.xml

Google предупреждает:

104485445.gif

где собака порылась, какая запись в robots.txt блокирует индексацию? Мои мысли:) - не эти ли записи Disallow: /*uk/ и Disallow: /*ru/?

И еще проблема - Яндекс при добавлении страницы в аддурилку вообще не видит http://snacks-club.com.ua/ (пишет "Недоступен сервер, на котором находится сайт"), а вот если вставить http://snacks-club.com.ua/ru/ или http://snacks-club.com.ua/uk/ то успешно добавляет. Наверное поэтому добавленный сайт в Яндекс поэтому не индексируется? Что надо сделать, где поправить?

Edited by Medness (see edit history)
Link to comment
Share on other sites

Подтвердилось что Disallow: /*uk/ и Disallow: /*ru/ блокировали доступ к продуктам. Поэтому всем у кого мультиязычный магазин, обязательно убрать ненужные строки в robots.txt.

Вопрос с Яндексом остаётся, немного больше информации - так как магазин мультиязычный и (в моём случае) русский язык главный, то при наборе в браузере сайт.com.ua адрес переопределяется на сайт.com.ua/ru/. Я Яндексу при добавлении в Вебмастер указал сайт.com.ua и сайт не индексируется. В Аддурилке при добавлении сайт.com.ua пишет "Недоступен сервер, на котором находится сайт", а вот сайт.com.ua/ru/ принимает на ура. Пробовал Вебмастеру указать адрес сайт.com.ua/ru/ он его обрезает до сайт.com.ua, т.е. опять индексировать не будет. Насколько хватает мозгов, понимаю что надо прописать что-то в robots.txt, чтобы Yandex не упирался по поводу "сайт.com.ua/ru/ vs. сайт.com.ua", но вот как не знаю. Помогите пожалуйста? Или может я не туда гляжу?

Link to comment
Share on other sites

  • 4 months later...

Практически аналогичная ситуация. Кто-то может обяснить что следует предпринять в этом случае.

Такие строчки : Disallow: /*ru/  и  Disallow: /*ru/  из  robots.txt  я уже удалил. Может еще что необходимо сделать дабы тупо не дожидаться очередного индексирования яндексом и надеятся на все хорошее. Интиресно по гуглу анологичная проблема будет?

Link to comment
Share on other sites

  • 3 months later...

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
×
×
  • Create New...