Jump to content
dfmrego

[Dúvida] Prestashop robots.txt e AdWords - Site bloqueado

Recommended Posts

Boas comunidade,

 

Uma das lojas (site) Prestashop 1.6.15 que tenho está sendo bloqueada no adWords, impedindo-me de criar anúncios para a mesma.

 

Depois de pesquisar e verificar o que conseguia, recorri ao suporte do adWords onde depois de vários contactos e tentativas me indicam que o mesmo está bloqueado devido a haverem "zonas" do site bloqueadas à Google no robots.txt

 

O ficheiro robots.txt foi gerado dentro do Prestashop (Menu SEO) sem alterações.

 

Apesar de não me fazer sentido nenhum tal justificação/razão para o bloqueio, até porque o robots.txt existe por alguma razão... queria saber a experiência de outros.

 

Gostaria assim de perguntar na comunidade, especialmente a quem trabalhe com adWords se também tiveram problemas com a utilização do robots.txt ou pelo contrário têm o robots.txt gerado pelo PrestaShop e anúncios no adWords sem problema?

 

Agradeço desde já a atenção disponibilizada.

Share this post


Link to post
Share on other sites

Vc. fez alguma alteracao manualmente no ficheiro robots.txt ?

 

Se nao e for a original, entao esta nao bloqueia nada que o Google necessita.

 

Coloque aqui o código do seu robots, para podermos dar uma olhada, ou entao indique a URL da sua página.

Share this post


Link to post
Share on other sites

Boas, antes de mais agradeço o feedback.

 

Não fiz nenhum alteração ao ficheiro e inclusive já o testei no webmaster tools, com sucesso em todos. Não estou a aceitar/perceber a resposta do suporte do adWords.

 

O ficheiro está da seguinte forma:

 

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/robotstxt.html
User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
# Private pages
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /*recuperacao-password
Disallow: /*endereco
Disallow: /*enderecos
Disallow: /*login
Disallow: /*carrinho
Disallow: /*desconto
Disallow: /*historico-encomendas
Disallow: /*identidade
Disallow: /*minha-conta
Disallow: /*order-follow
Disallow: /*talao-encomenda
Disallow: /*encomenda
Disallow: /*pesquisa
Disallow: /*quick-order
Disallow: /*guest-tracking
Disallow: /*confimacao-encomenda
# Sitemap
Sitemap: https://shop.shampoocia.pt/1_index_sitemap.xml

Share this post


Link to post
Share on other sites

O sitemap da sua página está vazio. Clique no link do sitemap que anexou mais acima e verifique. Por isto é que o Google rejeita a sua página.

 

Vc. está usando multi-idiomas ? Se vc. somente usa um idioma, entao desabilite os outros no seu back-office. DEASBILITE e NAO DELETE!!

 

Qual a versao Prestashop em uso?

Qual o módulo sitemap em uso ? Após desabilitar os outros idiomas, deverá regenerar o sitemap.

 

..../1_index_sitemap.xml sao sitemaps criados para lojas com vários idiomas. Com um idioma só vc. nao encontrará um index....

Share this post


Link to post
Share on other sites

Quem lhe deu informacao quanto à sua robots.txt ? Eu consigo acessar sem problemas e o sitemap também está correto. Na primeira vez que tentei, eu tinha um sitemap vazio... mas agora está correto.

 

O aque pode estar acontecendo sao países bloqueados vc. usando a Gelocalizacao (geotargeting). Para isto vc. terá que adicionar os bots do Google à whitelist.

 

Pergunte no fórum do Google webmasters, quais os IP's atuais que os bots do adwords usam. Eu nao estou a par.

Share this post


Link to post
Share on other sites

Olá,

Obrigado pelo feedback.

 

A informação veio directamente por email do suporte do Google adWords.

 

Estas foram respostas que tive por email, depois de falar telefonicamente com o suporte adwords:

"Obrigada pela sua paciência.
Verifiquei com a equipa de análise e vimos que tem algumas informações no seu arquivo robots que estão bloqueando a leitura dos robôs."

 

"Você precisa de fato remover todo o bloqueio que seu site tem para que o sistema consiga verificar as informações de seu site.

Apenas algumas páginas liberadas dentro de seu site não são suficientes para que o sistema interno entenda que seu site pode ser lido.
Remova toda a informação de bloqueio do seu arquivo robots.txt e desta forma você poderá anunciar normalmente."
 
O mais ridículo é que pelas ferramentas do webmaster tools, os testes ao robots.txt dá OK em todos.
Daí ter iniciado este tópico para recolher a experiência de outros utilizadores com o AdWords em conjunto com o robots do Prestashop.
 
 
Boa questão a da Geolocalização, não me havia recordado da mesma, no entanto ainda não está activa, pelo que não estará a interferir.

Share this post


Link to post
Share on other sites

 

O aque pode estar acontecendo sao países bloqueados vc. usando a Gelocalizacao (geotargeting). Para isto vc. terá que adicionar os bots do Google à whitelist.

 

Pergunte no fórum do Google webmasters, quais os IP's atuais que os bots do adwords usam. Eu nao estou a par.

Ou entao no seu servidor está instalada uma firewall, que está bloqueando os IP's correspondentes do Google. Na sua robots nao existe nada bloqueando adWords...

Share this post


Link to post
Share on other sites

Boas,

 

Recebi novo feedback do suporte da AdWords.

 

"Como dito anteriormente, o problema não é que o sistema não consegue ler algumas partes do seu site.

 

O problema é que existem páginas bloqueadas em seu site, desta forma, os robôs não conseguem fazer a leitura de seu site de uma maneira completa.

 

Isso faz com que seu site não passe no teste quando tentamos desbloquear ele por aqui.

 

Já foi te falado que a solução seria habilitar todo o site, não bloqueando assim NENHUMA página."

 

 

 

Resumindo, bloquearam todo o site a publicidade AdWords porque querem acesso a todo o site.

Optei por remover o robots.txt e dar-lhes essa indicação a ver se assim o mesmo é desbloqueado e posteriormente irei bloquear pouco a pouco e ver se me voltam a bloquear o domínio.

Share this post


Link to post
Share on other sites

Nao entendo. Eles tem acesso ao todo site.... o ficheiro robots que vc. adicionou nao está bloqueando nenhuma parte, somente partes de códiog que possam criar contexto duplo (double content) e partes sensíveis, como o registro e login de contas. Isto nao tem nada a haver com o adWords ou com o Google em total.

 

O bloqueio acho que vem é do seu tema, pois usa muito JS que por sua vez máqu9inas de busca nao podem indexar e nao entendem, ou seja entendem somente em parte.

 

Quando se compra um tema, aconselho primeiramente verificar se foi otimizado para propósitos SEO. Para mim a única explicacao do porque o Google nao consegue ver partes é como já disse: Firewall impedindo os robos do Google (nao parece ser o caso), ou entao um tema mal codado. A sua robots está correta e nao deve ser alterada de forma nenhuma, pois atende o Prestashop. Infelizmente nao somente uma robots pode impedir o acesso, mas também temas nao otimizados. Neste caso vc. deverá entrar em contato com o desenvolvedor do seu tema. Muito JS nao atende às necessidades SEO. Design nao é igual design. Tem aqueles que sao bons para o olho, mas nao servem para nada no mundo SEO. ;)  Aliás os temas LEO sao muito problemáticos mesmo.

 

Neste caso na descricao do tema nao existe nenhuma referência quanto à compatibilidade SEO: http://www.leotheme.com/prestashop/themes/200-leo-tshirt.html

Share this post


Link to post
Share on other sites

Boas,

 

Agradeço o feedback.

 

A titulo de teste, fiz a alteração do robots.txt tendo apenas:

 

User-agent: *
Disallow:
User-agent: Googlebot
Allow:
User-agent: Googlebot-Image
Allow:
User-agent: Mediapartners-Google
Allow:
User-agent: Adsbot-Google
Allow: 

 

 

Desta forma já removeram o bloqueio!

Pelo menos firewall não será, e do tema também não... apesar de concordar que não será o mais adequado, terei de pensar em altera-lo.

 

Os temas Leo pareceram-me vantajosos pela facilidade de personalização/ajustes.

Share this post


Link to post
Share on other sites

Em vez do Leo eu aconselharia thememaker, pois este desenvolvedor, além de trabalhar para Prestashop, ainda usa o tema nativo com framework próprio, o que nao é o caso do Leo. Estes usam um framework, para adaptar um monte de temas nao Prestashop (WP, Magento, etc...).

 

Vc. colocando allow para o user agent do google, está generando duplicate content, que vai lhe colocar a sua página em lugares nao visíveis no Google, somente para acertar o adWords. Nao sei se isto vale a pena.

 

Tente usar este robots, aqui inverti simplesmente a sequencia do * para algumas pastas:

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.../robotstxt.html
User-agent: *
# Allow Directives
Allow: /*modules/*.css
Allow: /*modules/*.js
# Private pages
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: /*classes/
Disallow: /*config/
Disallow: /*download/
Disallow: /*mails/
Disallow: /*modules/
Disallow: /*translations/
Disallow: /*tools/
# Files
Disallow: /*recuperacao-password
Disallow: /*endereco
Disallow: /*enderecos
Disallow: /*login
Disallow: /*carrinho
Disallow: /*desconto
Disallow: /*historico-encomendas
Disallow: /*identidade
Disallow: /*minha-conta
Disallow: /*order-follow
Disallow: /*talao-encomenda
Disallow: /*encomenda
Disallow: /*pesquisa
Disallow: /*quick-order
Disallow: /*guest-tracking
Disallow: /*confimacao-encomenda
# Sitemap
Sitemap: https://shop.shampoo...dex_sitemap.xml

Veja tmb. neste caso o que coloquei no bug-tracker (ainda sem resposta), para falar a verdade o Google nao entende corretamente placeholders (*) e pode sair dando resultado errado. http://forge.prestashop.com/browse/PSCSX-7968

Share this post


Link to post
Share on other sites

Bom dia estou prática mente com o mesmo problema, 387 bloqueadas pelo robots, meu sitemap está tmb com o index na frente, mas não sei onde desabilitar o mult lingue. O Serch Console mostra as páginas como bloqueadas mas ai clico para testar o robots e ele dá como permitido. Acha que usando o robots que vc enviou resolveria meu problema?
Obrigado

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

×

Important Information

Cookies ensure the smooth running of our services. Using these, you accept the use of cookies. Learn More