Jump to content

Вопрос по вебмастеру яндекс и robots.txt


Recommended Posts

Подскажите люди добрые по такому вопросу...

 

панель вебмастера.

показывает загружено роботом 320 страниц

исключено роботом 146 страниц

перехожу туда где исключённые страницы.

Документ запрещён в файле robots.txt 136

и далее смотрю что там он исключил...

cart.php?add&id_product=12&token=c03071a727d80e8275aefc

 

 

если это запрещено в роботсе так зачем он их индексирует? скажите как исправить эту проблему?

вот мой стандартный robots.txt

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution

# http://www.prestashop.com - http://www.prestashop.com/forums

 

# This file is to prevent the crawling and indexing of certain parts

# of your site by web crawlers and spiders run by sites like Yahoo!

# and Google. By telling these "robots" where not to go on your site,

# you save bandwidth and server resources.

 

# For more information about the robots.txt standard, see:

# http://www.robotstxt.../wc/robots.html

 

User-agent: *

 

# Directories

Disallow: /classes/

Disallow: /config/

Disallow: /download/

Disallow: /mails/

Disallow: /modules/

Disallow: /translations/

Disallow: /tools/

Disallow: /support/

 

# Files

Disallow: /addresses.php

Disallow: /address.php

Disallow: /authentication.php

Disallow: /cart.php

Disallow: /discount.php

Disallow: /footer.php

Disallow: /get-file.php

Disallow: /header.php

Disallow: /history.php

Disallow: /identity.php

Disallow: /images.inc.php

Disallow: /init.php

Disallow: /my-account.php

Disallow: /order.php

Disallow: /*tag=

Disallow: /order-slip.php

Disallow: /order-detail.php

Disallow: /order-follow.php

Disallow: /order-return.php

Disallow: /order-confirmation.php

Disallow: /pagination.php

Disallow: /password.php

Disallow: /pdf-invoice.php

Disallow: /pdf-order-return.php

Disallow: /pdf-order-slip.php

Disallow: /product-sort.php

Disallow: /search.php

Disallow: /statistics.php

 

также загружен файл sitemap.xml в нём 143 ссылки и пишет ошибок ноль. :unsure:

Link to comment
Share on other sites

  • 11 months later...
  • 7 months later...

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
×
×
  • Create New...