Indicizzazione motori di ricerca Robots.txt

[Bodyglove]

si accettano consigli ecco il mio robots la mia intenzione è quella di bloccare tutti gli spider tranne alcuni e bloccare alcure directory e file

Secondo voi, chiedo a qualche esperto, il file è corretto scriverlo in questo modo:

# blocco tutti gli spider

User-agent: *
Disallow: /

# spider consentiti per tutto il sito

User-agent: Googlebot
Disallow:

User-agent: Slurp
Disallow:

User-agent: msnbot
Disallow:

User-agent: FAST-WebCrawler
Disallow:

User-agent: Lycos_Spider
Disallow:

User-agent: Ia_archiver
Disallow:

User-agent: Robozilla
Disallow:

User-agent: Slurp
Disallow:

User-agent: Tarantula
Disallow:


# Directories da escludere

Disallow: /classes/
Disallow: /config/
Disallow: /download/
Disallow: /mails/
Disallow: /modules/
Disallow: /translations/
Disallow: /tools/
Disallow: /img/p/

# Files da escudere

Disallow: /addresses.php
Disallow: /address.php
Disallow: /authentication.php
Disallow: /cart.php
Disallow: /contact-form.php
Disallow: /discount.php
Disallow: /footer.php
Disallow: /get-file.php
Disallow: /header.php
Disallow: /history.php
Disallow: /identity.php
Disallow: /images.inc.php
Disallow: /init.php
Disallow: /my-account.php
Disallow: /order.php
Disallow: /order-slip.php
Disallow: /order-detail.php
Disallow: /order-follow.php
Disallow: /order-return.php
Disallow: /order-confirmation.php
Disallow: /pagination.php
Disallow: /password.php
Disallow: /pdf-invoice.php
Disallow: /pdf-order-return.php
Disallow: /pdf-order-slip.php
Disallow: /product-sort.php
Disallow: /search.php
Disallow: /statistics.php
Disallow: /zoom.php

Sitemap: http://www.tuosito.it/sitemap.xml

[disarci]

1) non comprendo bene quello che hai in mente
2) attenzione così disabiliti tutti, come in tutte le regole il disallow all deve stare DOPO quelli che abiliti

guardati un attimo:
http://www.seoconsultants.com/robots-text-file/
in fondo ci sono anche link a forum o altri riferimenti

[Bodyglove]

1) non comprendo bene quello che hai in mente
2) attenzione così disabiliti tutti, come in tutte le regole il disallow all deve stare DOPO quelli che abiliti

grazie per la risposta

mi spiego io vorrei che effettuassero la scansione solo questi spider e leggessero tutto il sito:

User-agent: Googlebot
Disallow:

User-agent: Slurp
Disallow:

User-agent: msnbot
Disallow:

User-agent: FAST-WebCrawler
Disallow:

User-agent: Lycos_Spider
Disallow:

User-agent: Ia_archiver
Disallow:

User-agent: Robozilla
Disallow:

User-agent: Slurp
Disallow:

User-agent: Tarantula
Disallow:

E bloccare tutti gli altri spider che scansionano il mio sito e ho aggiunto questo "alla fine come da te suggerito"

User-agent: *
Disallow: /

il resto è per escudere dalla scansione directory e file che non mi interessa che vengano trovate