Sitemap.xml y Robots.txt: Los Archivos que Determinan si Google Te Encuentra

User-agent: *
Disallow: /

# ═══════════════════════════════════════════════════
# Robots.txt - Sitio de Producción
# ═══════════════════════════════════════════════════
 
# Permitir acceso general
User-agent: *
Allow: /
 
# Bloquear zonas administrativas y privadas
Disallow: /admin/
Disallow: /api/
Disallow: /cuenta-usuario/
Disallow: /dashboard/
Disallow: /wp-admin/
Disallow: /wp-login.php
 
# Bloquear archivos de desarrollo
Disallow: /*.json$
Disallow: /*?preview=
Disallow: /test/
Disallow: /staging/
Disallow: /_next/static/development/
 
# Evitar rastreo de parámetros de tracking
Disallow: /*?utm_source=
Disallow: /*?utm_medium=
Disallow: /*?fbclid=
Disallow: /*?gclid=
 
# Evitar contenido duplicado por paginación
Disallow: /*?page=
Disallow: /*?sort=
Disallow: /*?filter=
 
# ═══════════════════════════════════════════════════
# Configuraciones por bot específico
# ═══════════════════════════════════════════════════
 
# Googlebot - Sin restricciones adicionales
User-agent: Googlebot
Crawl-delay: 0
 
# Bingbot - Delay moderado
User-agent: Bingbot
Crawl-delay: 1
 
# ═══════════════════════════════════════════════════
# AI Crawlers (nuevo en 2025)
# ═══════════════════════════════════════════════════
 
# GPTBot (OpenAI) - Permitir o bloquear según preferencia
User-agent: GPTBot
# Disallow: /  # Descomenta para bloquear ChatGPT de usar tu contenido
 
# Google-Extended (Bard/Gemini)
User-agent: Google-Extended
Allow: /
 
# Claude Bot (Anthropic)
User-agent: anthropic-ai
Allow: /
 
# ═══════════════════════════════════════════════════
# Scrapers y bots de análisis (opcional)
# ═══════════════════════════════════════════════════
 
# Bloquear scrapers agresivos
User-agent: SemrushBot
Crawl-delay: 10
 
User-agent: AhrefsBot
Crawl-delay: 10
 
User-agent: MJ12bot
Disallow: /
 
# ═══════════════════════════════════════════════════
# Ubicación del Sitemap
# ═══════════════════════════════════════════════════
 
Sitemap: https://www.tusitio.com/sitemap.xml

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
        xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">
  <url>
    <loc>https://www.tusitio.com/</loc>
    <lastmod>2025-12-13</lastmod>
    <changefreq>weekly</changefreq>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://www.tusitio.com/servicios</loc>
    <lastmod>2025-12-01</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.8</priority>
  </url>
  <url>
    <loc>https://www.tusitio.com/blog/articulo-importante</loc>
    <lastmod>2025-12-13</lastmod>
    <changefreq>weekly</changefreq>
    <priority>0.9</priority>
    <image:image>
      <image:loc>https://www.tusitio.com/images/articulo.webp</image:loc>
      <image:caption>Descripción de la imagen</image:caption>
    </image:image>
  </url>
</urlset>

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>https://www.tusitio.com/sitemap-pages.xml</loc>
    <lastmod>2025-12-13</lastmod>
  </sitemap>
  <sitemap>
    <loc>https://www.tusitio.com/sitemap-blog.xml</loc>
    <lastmod>2025-12-13</lastmod>
  </sitemap>
  <sitemap>
    <loc>https://www.tusitio.com/sitemap-products.xml</loc>
    <lastmod>2025-12-12</lastmod>
  </sitemap>
</sitemapindex>

<link rel="canonical" href="https://www.tusitio.com/blog/mi-articulo" />

// app/sitemap.ts
import { MetadataRoute } from 'next'
import { getAllPosts } from '@/lib/blog'
 
export default async function sitemap(): Promise<MetadataRoute.Sitemap> {
  const baseUrl = 'https://www.tusitio.com'
  const posts = await getAllPosts()
 
  const blogUrls = posts.map((post) => ({
    url: `${baseUrl}/blog/${post.slug}`,
    lastModified: new Date(post.date),
    changeFrequency: 'weekly' as const,
    priority: 0.8,
  }))
 
  const staticPages: MetadataRoute.Sitemap = [
    {
      url: baseUrl,
      lastModified: new Date(),
      changeFrequency: 'weekly',
      priority: 1,
    },
    {
      url: `${baseUrl}/servicios`,
      lastModified: new Date(),
      changeFrequency: 'monthly',
      priority: 0.9,
    },
    {
      url: `${baseUrl}/contacto`,
      lastModified: new Date(),
      changeFrequency: 'monthly',
      priority: 0.7,
    },
    {
      url: `${baseUrl}/conferencias`,
      lastModified: new Date(),
      changeFrequency: 'weekly',
      priority: 0.8,
    },
  ]
 
  return [...staticPages, ...blogUrls]
}

// app/robots.ts
import { MetadataRoute } from 'next'
 
export default function robots(): MetadataRoute.Robots {
  const baseUrl = 'https://www.tusitio.com'
 
  return {
    rules: [
      {
        userAgent: '*',
        allow: '/',
        disallow: ['/admin/', '/api/', '/preview/'],
      },
      {
        userAgent: 'GPTBot',
        allow: '/',
      },
    ],
    sitemap: `${baseUrl}/sitemap.xml`,
  }
}

/productos?color=rojo
/productos?color=rojo&talla=M
/productos?color=rojo&talla=M&orden=precio
/productos?color=rojo&talla=M&orden=precio&page=2

# Bloquear parámetros de filtrado
Disallow: /*?color=
Disallow: /*?talla=
Disallow: /*?orden=
Disallow: /*?page=
 
# Permitir solo las URLs canónicas
Allow: /productos/$

# Verificar accesibilidad
curl -I https://www.tusitio.com/sitemap.xml
 
# Debe retornar:
HTTP/2 200
content-type: application/xml

# robots.txt
Disallow: /admin/
 
# sitemap.xml (❌ MAL)
<url>
  <loc>https://www.tusitio.com/admin/dashboard</loc>
</url>

// Next.js - Return 404 real
export async function generateMetadata({ params }) {
  const product = await getProduct(params.id)
 
  if (!product) {
    notFound() // Devuelve 404 real
  }
 
  return { title: product.name }
}

<!-- Google puede ver esta página pero no la indexará -->
<meta name="robots" content="noindex, follow" />
 
<!-- Google no indexa ni sigue los enlaces -->
<meta name="robots" content="noindex, nofollow" />
 
<!-- Solo para Googlebot -->
<meta name="googlebot" content="noindex" />

ROBOTS.TXT
[ ] Existe y es accesible (tusitio.com/robots.txt)
[ ] No bloquea contenido importante
[ ] Referencia el sitemap correctamente
[ ] Configura AI crawlers según preferencia
[ ] No bloquea CSS/JS (Google necesita renderizar)
 
SITEMAP.XML
[ ] Es válido (XML bien formado)
[ ] Todas las URLs retornan status 200
[ ] No incluye contenido duplicado
[ ] No incluye URLs bloqueadas en robots.txt
[ ] lastmod actualizado en cada deploy
[ ] Registrado en Google Search Console
[ ] Registrado en Bing Webmaster Tools
 
MONITOREO
[ ] Sin errores de rastreo en Search Console
[ ] Revisar cobertura de índice mensualmente
[ ] Verificar que nuevas páginas se indexen