El archivo Robots.txt es el utilizado para poder decirle a Google lo que deseamos sea o no indexado en sus servidores, podríamos definirlo como las reglas de juego para que tanto el buscador como el Webmaster salgan beneficiados.

En el archivo Robots.txt se utilizan las expresiones de Allow (permitir) y Disallow (rechazar) para indicarle al robot de Google que contenido debe ser indexado y cual no. A continuación te ofrecemos un archivo Robots.txt perfecto para tu blog en WordPress, solo debes copiar, colocar la dirección de tu web y subirlo a tu servidor. De esta manera aumentarás las opciones de posicionamiento en Google.

User-Agent: *

Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-
Disallow: /?s=
Disallow: /search
Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /
User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10

Sitemap: http://www.TU-SITIO-AQUI.com/sitemap.xml