Clase 02 · Módulo 08
Scraping: qué puedes y qué no
Scraping: qué puedes y qué no
Qué logras en esta clase
Decides, antes de construir, si puedes extraer datos de un sitio y en qué condiciones.
- Lees el archivo robots.txt de cualquier sitio.
- Aplicas cinco preguntas a cada extracción.
- Reconoces cuándo la respuesta es no y qué hacer en ese caso.
02
Público no es lo mismo que libre
Que cualquiera pueda ver una página no significa que puedas hacer cualquier cosa con sus datos.
03
Qué es el scraping
Scraping es extraer datos con un programa desde páginas hechas para que las lean personas. Sirve cuando no hay API ni RSS (clase 1).
La técnica es simple. Lo difícil es el criterio: de quién son los datos, qué pide el sitio y cuánto lo cargas.
04
Cinco preguntas antes de extraer
| Pregunta | Dónde se responde |
|---|---|
| ¿El sitio pide a los programas no entrar ahí? | Su archivo robots.txt |
| ¿Sus condiciones prohíben la extracción? | Términos de uso |
| ¿Hay datos de personas? | En lo que vas a guardar |
| ¿Vas a reutilizar contenido con dueño? | En lo que harás con los datos |
| ¿Cuánto vas a cargar su servidor? | En tu propio flujo |
05
robots.txt: el aviso para los programas
Es un archivo de texto público en la raíz de un sitio. Indica a los programas automáticos qué rutas no deben visitar. Sigue un estándar de internet, el RFC 9309.
Se ve desde el navegador: escribe el dominio seguido de /robots.txt.
06
Cómo se lee
User-agent: *
Disallow: /cuenta/
Allow: /cuenta/ayudaUser-agentdice a qué programa aplican las reglas;*es «todos los demás».Disallowmarca una ruta vetada;Allow, una permitida.- Si dos reglas calzan con una dirección, manda la más larga.
- Si ninguna calza, la ruta está permitida.
07
Revisarlo paso a paso
- Abre
dominio/robots.txten el navegador. - Busca un grupo con el nombre de tu herramienta; si no hay, usa el grupo
*. - Compara la ruta que quieres leer con sus
DisallowyAllow. - Si la ruta está vetada, no la leas con un programa.
08
Si el archivo no existe o da error
| Lo que responde el sitio | Qué indica el estándar |
|---|---|
| No existe (error 404) | No hay restricciones declaradas por esta vía |
| Error del servidor (5xx) | Asumir que todo está vetado mientras dure |
Que no haya robots.txt no responde las otras cuatro preguntas.
09
Una señal de cortesía, no una cerradura
El propio estándar lo dice: robots.txt no es una autorización de acceso. No te da permiso ni protege nada por sí solo.
10
Lo que robots.txt no resuelve
- Cumplirlo es voluntario en lo técnico: nada te lo impide.
- Ignorarlo es mala práctica y puede jugar en tu contra en un conflicto.
- Que una ruta esté permitida no te autoriza a republicar su contenido.
- Algunos sitios agregan líneas fuera del estándar, como un tiempo de espera entre visitas. Si aparecen, respétalas.
11
Un caso real
Respetar el aviso tiene un costo de tiempo. Es parte del trabajo.
12
Términos de uso
Están al pie del sitio, como «Términos», «Condiciones» o «Aviso legal». Busca dentro palabras como «automatizado», «robot», «extracción» o «uso comercial».
- Si prohíben la extracción automática, tómalo como un no.
- Saltarte un inicio de sesión o un bloqueo técnico agrava el problema.
- Si pagas por una cuenta, eso no te da derecho a extraer en masa.
13
Datos personales
Nombre, RUT, correo, teléfono, foto o cualquier dato de una persona identificable. Extraerlos y guardarlos queda sujeto a la ley de datos personales, aunque estén publicados.
- Regla práctica: si no los necesitas, no los extraigas.
- Si los necesitas, guarda el mínimo y define para qué.
- Qué ley rige hoy en Chile y cómo comprobarlo se ve en el módulo 14, clase 7.
14
Derechos de autor
Los textos, fotos y bases de datos de un sitio tienen dueño. En Chile lo regula la Ley 17.336 de propiedad intelectual.
| Uso | Riesgo |
|---|---|
| Tomar datos sueltos (un precio, una fecha) para decidir | Bajo |
| Guardar el enlace y un título para avisarte | Bajo |
| Copiar artículos, fotos o fichas completas | Alto |
| Republicar o vender lo extraído | Alto |
15
Carga al servidor
Cada lectura le cuesta recursos a alguien. Cuatro hábitos:
- Pocas peticiones: solo las páginas que necesitas.
- Espaciadas: segundos entre una y otra, no todas a la vez.
- Horario de bajo uso: de noche o de madrugada.
- Identificado: una cabecera que diga quién eres y cómo contactarte.
Cómo configurar la pausa y la cabecera en n8n se ve en la clase 3.
16
Compórtate como una visita educada
Si el dueño del sitio revisara sus registros, tu flujo debería poder explicarse sin vergüenza.
17
Semáforo para decidir
| Señal | Situación | Qué haces |
|---|---|---|
| Verde | Datos sin personas, ruta permitida, pocas lecturas, uso interno | Construyes |
| Amarillo | Términos ambiguos, volumen medio, datos con dueño | Preguntas al sitio o reduces el alcance |
| Rojo | Ruta vetada, exige sesión, datos personales en masa, republicar | No lo haces |
18
Cuando la respuesta es no
- Escribe al sitio y pide permiso o un archivo con los datos.
- Busca la misma información en una fuente que sí tenga API o RSS.
- Revisa si un proveedor la vende con licencia.
- Hazlo a mano si es poco y ocasional, o desiste.
19
Errores comunes
- Mirar solo robots.txt y saltarse los términos de uso.
- Creer que un dato personal publicado es de libre uso.
- Extraer el sitio completo «por si acaso» cuando bastaba una página.
- Lanzar cientos de peticiones seguidas en horario de atención.
- Publicar en tu web textos o fotos tomados de otro sitio.
20
Lo que te llevas
- Antes de extraer respondes cinco preguntas: robots.txt, términos, personas, autoría y carga.
- robots.txt se lee en
dominio/robots.txt; gana la regla más larga. - No es una cerradura ni una autorización, pero se respeta.
- Datos sueltos para decidir es bajo riesgo; copiar y republicar, alto.
- Un bloqueo técnico o un inicio de sesión son un no.
21
Hazlo ahora
En 10 minutos, con un sitio del que te gustaría obtener datos:
- Abre su robots.txt y anota si la ruta que te interesa está permitida.
- Busca en sus términos de uso las palabras «automatizado» y «comercial».
- Responde las otras tres preguntas por escrito.
- Asígnale un color del semáforo y decide si sigues.
Clase terminada
Sigue con la próxima.
Fuentes · revisadas el 18 de noviembre de 2026