Scrapy Cloud: qué es, precios y cómo desplegar tus spiders en la nube

Scrapy es, con diferencia, el framework de código abierto más popular para escribir crawlers en Python. Escribir un spider en local es sencillo; lo complicado llega después: ¿dónde lo ejecutas, cómo lo programas, cómo sabes que sigue funcionando y qué haces cuando una web cambia? Scrapy Cloud, el servicio de hosting de Zyte, responde a esas preguntas. Zyte describe el servicio como “un Heroku para la extracción de datos web”, y la comparación es bastante acertada.

Qué es Scrapy Cloud

Scrapy Cloud aloja y ejecuta tus spiders de Scrapy en la nube. En lugar de montar un servidor, un cron y un sistema de logs, subes tu proyecto y gestionas todo desde un panel web: lanzas ejecuciones, las programas, ves los registros y descargas los datos. La plataforma está construida por el mismo equipo que mantiene Scrapy, lo que garantiza la compatibilidad.

Cómo se despliega un proyecto

El flujo habitual con la herramienta de línea de comandos shub se resume en tres pasos: instalarla, iniciar sesión con tu clave de API y desplegar el proyecto. También puedes desplegar desde GitHub. Una vez subido, programas las ejecuciones desde el panel. Si ya tienes un proyecto de Scrapy, la migración es muy rápida porque no hay que reescribir nada.

Qué incluye

• Panel de control para ejecutar, supervisar y controlar los crawlers en tiempo real.
• Programación de ejecuciones, con programación inteligente disponible en el plan de pago.
• Escalado bajo demanda: puedes añadir capacidad cuando el trabajo crece.
• Monitorización y calidad de datos: registros, herramientas de calidad e integración con Spidermon, el framework de código abierto de monitorización de spiders de Zyte.
• Contenedores personalizables para dependencias especiales.
• Sin dependencia de proveedor: al ser Scrapy estándar, puedes migrar tu código a otro hosting si lo necesitas.

Precios

Zyte publica dos planes:

• Starter (gratuito): miembros, proyectos y peticiones ilimitados, con 1 hora de tiempo de ejecución, 1 crawl concurrente y 7 días de retención de datos. Ideal para probar o para proyectos muy pequeños.
• Professional: desde 9 USD por unidad al mes (una unidad = 1 GB de RAM y 1 crawl concurrente). Añade tiempo de ejecución y crawls concurrentes ilimitados, programación inteligente, retención de datos de 120 días y soporte personalizado.

Como siempre, confirma las tarifas vigentes en la web oficial, ya que pueden cambiar.

Scrapy Cloud + Zyte API: la combinación habitual

Alojar el spider soluciona la ejecución, pero no los bloqueos. Ahí entra Zyte API: se conecta mediante un middleware con muy pocos ajustes y permite que tus spiders accedan a webs protegidas y renderizen páginas con JavaScript. Además, puedes activar la extracción con IA para obtener datos estructurados de productos sin mantener parsers propios (lo vemos en la guía de extracción de datos con IA).

Cuándo elegir Scrapy Cloud

Tiene sentido si:

• Tu equipo ya trabaja con Scrapy o con Python.
• Necesitas programar y monitorizar crawlers sin montar infraestructura.
• Quieres pagar un hosting especializado en lugar de gestionar tus servidores.

Quizá no si:

• No tienes perfil técnico. En ese caso, Zyte Data te evita el trabajo.
• Prefieres un mercado de scrapers ya hechos: compara con Apify en nuestra comparativa Zyte vs Apify.

Buenas prácticas

1. Respeta los términos de servicio y las directrices de cada web.
2. Limita la velocidad de rastreo para no sobrecargar los servidores.
3. Configura alertas con Spidermon para detectar caídas de calidad.
4. Documenta qué datos recoges y con qué base legal, especialmente si hay datos personales.

Puedes crear una cuenta en Scrapy Cloud con el plan Starter y desplegar tu primer spider en pocos minutos para evaluar si encaja con tu flujo de trabajo.

Divulgación: ComprarDatos participa en el programa de afiliados de Zyte y puede recibir una comisión si contratas a través de nuestros enlaces, sin coste adicional para ti. Consulta la divulgación de afiliados.