Clase 03 · Módulo 09
Sitemap, robots.txt y Search Console
Sitemap, robots.txt y Search Console
Qué logras en esta clase
Le entregas a Google el mapa de tu sitio, decides qué puede rastrear y abres el panel donde ves cómo te va.
- Generas el sitemap con la integración de Astro.
- Escribes un
robots.txtcorrecto y sabes qué no hace. - Verificas tu sitio en Search Console y envías el sitemap.
02
Tres piezas con tres trabajos
| Pieza | Qué es | Para qué sirve |
|---|---|---|
| Sitemap | Lista de tus direcciones | Que el buscador descubra páginas |
robots.txt | Reglas para rastreadores | Decir dónde no entrar |
| Search Console | Panel gratuito de Google | Ver y corregir cómo te lee |
Las dos primeras son archivos de tu sitio. La tercera es un servicio externo que necesita que demuestres que el sitio es tuyo.
03
Qué es un sitemap
Es un archivo XML, un formato de texto para máquinas, con la lista de páginas que quieres que el buscador conozca.
No obliga a nada: es una sugerencia. Ayuda sobre todo cuando el sitio es nuevo y pocos enlaces externos apuntan a él.
En un sitio de cinco páginas bien enlazadas aporta poco. Cuesta tan poco tenerlo que igual conviene.
04
El sitemap se genera solo
Nadie escribe ese archivo a mano. Astro tiene una integración oficial, @astrojs/sitemap, que lo crea en cada construcción a partir de tus páginas.
05
Lo que necesita la integración
- Que
astro.config.mjsdeclare la dirección definitiva del sitio en la opciónsite. - Que la integración esté instalada y agregada a la configuración.
- Volver a construir con
npm run build.
export default defineConfig({
site: 'https://tudominio.cl',
integrations: [sitemap()],
});Pídele a Claude Code que la instale siguiendo la guía oficial vigente; la forma exacta puede variar entre versiones de Astro.
06
Comprobar que se generó
- Corre
npm run build. - Abre la carpeta
disty busca los archivos cuyo nombre empieza consitemap. - Ábrelos: deben listar tus páginas con
httpsy tu dominio real.
Lo habitual es un archivo índice que apunta a otros con las direcciones. Anota su nombre exacto: es el que entregarás a Google.
07
Qué entra y qué no
Entra todo lo que quieres que alguien encuentre buscando. Queda fuera:
- Páginas de agradecimiento tras un formulario.
- Borradores y páginas de prueba.
- Resultados de pago y páginas de administración.
La integración permite excluir direcciones con un filtro. Revisa en su guía cómo se escribe y pide a Claude que lo aplique a tu lista.
08
Qué es robots.txt
Es un archivo de texto en la raíz del sitio que los rastreadores leen antes de entrar. Les indica qué partes no deben recorrer.
En Astro se guarda en la carpeta public, para que quede en tudominio.cl/robots.txt tal cual.
Es una convención que los bots serios respetan. No es una cerradura: uno malintencionado puede ignorarlo.
09
Un robots.txt para un sitio normal
User-agent: *
Allow: /
Sitemap: https://tudominio.cl/sitemap-index.xmlUser-agent: *significa «para todos los rastreadores».Allow: /permite todo el sitio.Sitemap:indica dónde está el mapa. Usa el nombre real que viste endist.
Para la mayoría de las webs de negocio, esto basta.
10
Cómo se bloquea una parte
User-agent: *
Disallow: /gracias/
Disallow: /pruebas/Cada línea Disallow cierra una ruta y todo lo que cuelga de ella.
11
robots.txt no saca páginas de Google
Bloquear el rastreo no impide la indexación. Si otro sitio enlaza esa página, puede aparecer igual en los resultados, sin descripción.
12
Para no indexar se usa noindex
<meta name="robots" content="noindex" />Esta etiqueta va en el head de la página que no quieres en los resultados.
| Quieres | Usa |
|---|---|
| Que el bot no gaste visitas en una zona | robots.txt |
| Que una página no aparezca en resultados | noindex |
| Que nadie la vea | Contraseña o no publicarla |
13
No combines los dos
Si bloqueas una página en robots.txt y además le pones noindex, el bot no entra y nunca ve la etiqueta. El bloqueo anula la orden.
14
Qué es Search Console
Es el panel gratuito donde Google te muestra cómo ve tu sitio: qué páginas indexó, cuáles no y por qué, con qué búsquedas apareces y cuántos clics recibes.
Es la única fuente directa de esos datos. Necesitas una cuenta de Google y demostrar que el sitio es tuyo.
Lo que muestra describe solo a Google, no a otros buscadores.
15
Dos tipos de propiedad
Al agregar un sitio, Search Console ofrece dos tipos de propiedad:
| Tipo | Qué cubre | Cómo se verifica |
|---|---|---|
| Dominio | Todo: con y sin www, http y https, subdominios | Con un registro en el DNS |
| Prefijo de URL | Solo la dirección exacta que escribes | Varios métodos, que la pantalla lista |
Si ya manejas tu DNS, la propiedad de dominio es la más completa.
16
Verificar la propiedad paso a paso
- Entra a
search.google.com/search-consolecon tu cuenta de Google. - Agrega una propiedad y elige el tipo.
- Para dominio, copia el registro TXT que te entrega.
- Créalo donde administras tu DNS (módulo 10).
- Vuelve y pide verificar.
Los nombres de los botones cambian: guíate por la ayuda oficial citada en las fuentes. Si la verificación falla, espera a que el DNS se propague y reintenta.
17
No borres la prueba de verificación
Google vuelve a comprobarla cada cierto tiempo. Si eliminas el registro TXT, el archivo o la etiqueta que usaste, pierdes el acceso.
18
Enviar el sitemap
- En el menú de la propiedad, abre la sección de sitemaps.
- Escribe la dirección del archivo índice que viste en
dist. - Envíalo y revisa el estado que informa.
Se envía una sola vez. Google lo vuelve a leer por su cuenta, y como se regenera en cada construcción, siempre encuentra la lista actual.
19
Inspeccionar una dirección
La herramienta de inspección responde, para una página concreta, lo que el buscador simple no puede:
- Si está indexada, y si no, el motivo.
- Cuándo fue el último rastreo.
- Qué dirección canónica eligió Google.
Desde ahí puedes solicitar que la indexe. Es una petición que entra a una cola, no una orden.
20
Los informes que conviene mirar
| Informe | Qué te dice |
|---|---|
| Rendimiento | Búsquedas, clics, impresiones y posición media |
| Indexación de páginas | Cuáles entraron, cuáles no y por qué |
| Core Web Vitals | Velocidad según usuarios reales |
El de rendimiento incluye las visitas que llegan desde las funciones de IA de Google, dentro del tipo de búsqueda «Web».
21
Los datos tardan
Un sitio recién verificado muestra informes vacíos durante días. No es un error.
22
Qué hacer con «no indexada»
- Lee el motivo que entrega el informe.
- Si dice
noindexo bloqueada porrobots.txt, es tuyo: corrígelo. - Si dice que fue rastreada pero no indexada, mira si la página aporta algo distinto de las demás.
- Corrige, publica y pide validar la corrección.
No todas las páginas tienen que estar indexadas. Una de agradecimiento fuera del índice está bien.
23
Lo que te llevas
- El sitemap lo genera Astro; necesita la opción
sitecon tu dominio real. robots.txtcontrola el rastreo, no la indexación.- Para sacar una página de los resultados se usa
noindex, sin bloquearla. - Search Console es tu fuente directa: verifica, envía el sitemap e inspecciona.
- Ninguna de estas piezas protege información privada.
24
Hazlo ahora
En 15 minutos:
- Pide a Claude Code, en modo plan, que agregue la integración de sitemap y un
robots.txtque lo declare. - Construye y abre
dist: confirma que el sitemap lista tus páginas con tu dominio. - Abre
robots.txty comprueba que no tenga unDisallow: /. - Si tu dominio ya está publicado, crea la propiedad en Search Console. Si no, déjalo anotado para el módulo 10.
Clase terminada
Sigue con la próxima.
Fuentes · revisadas el 18 de noviembre de 2026
- Astro Docs: integración @astrojs/sitemapdocs.astro.build ↗
- Google Search Central: qué es un sitemapdevelopers.google.com ↗
- Google Search Central: introducción a robots.txtdevelopers.google.com ↗
- Ayuda de Search Console: verificar la propiedad de tu sitiosupport.google.com ↗
- Ayuda de Search Console: agregar una propiedadsupport.google.com ↗
- Google Search Central: funciones de IA y tu sitio webdevelopers.google.com ↗