Skip to main content

Workflow Orchestration

¡Bienvenido al Modulo 2 de Introducción a la Ingeniería de Datos! 🚀😤 Esta semana cubriremos la orquestación y flujo de trabajo con Airflow.

¿Qué es Workflow Orchestration?​

Antes de explicarte que es la Orquestación de Flujos de Trabajo, vamos a ver con un ejemplo real del mundo de los datos para que comprendas mejor que es el Workflow Orchestration.

Ejemplo Real en Ingeniería de Datos​

Supongamos que trabajas en una empresa que analiza datos de ventas de una tienda en línea. Quieres generar un informe diario que muestre las ventas del día anterior. Para esto, necesitas realizar varias tareas en orden:

  1. Extracción de datos (Extract): Primero, debes obtener los datos de ventas del día anterior desde la base de datos de la tienda.
  2. Transformación de datos (Transform): Luego, limpias y transformas los datos. Por ejemplo, puedes convertir fechas a un formato uniforme, calcular totales de ventas, y filtrar las ventas que no sean del día anterior.
  3. Carga de datos (Load): Una vez transformados, cargas los datos en un sistema de análisis o en un repositorio de datos (data warehouse).
  4. Generación de informes: Finalmente, creas el informe diario con gráficos y estadísticas basadas en los datos procesados.

Orquestación de Flujos de Trabajo(Workflow Orchestration)​

La orquestación de flujos de trabajo se asegura de que estas tareas se realicen en el orden correcto y de manera automatizada. Aquí se pueden usar herramientas como Apache Airflow, Luigi o Prefect.

¿Cómo Funciona?​

  1. Definición del Flujo de Trabajo: Creas un plan que define cada tarea y el orden en que deben ejecutarse.
  2. Programación: Configuras el flujo de trabajo para que se ejecute automáticamente cada día.
  3. Monitoreo y Gestión: La herramienta de orquestación monitorea el proceso, asegurándose de que cada tarea se complete correctamente. Si algo falla (por ejemplo, si no se pueden extraer los datos), te notifica para que puedas arreglarlo.

Herramientas Comunes​

  • Apache Airflow: Permite crear, programar y monitorear flujos de trabajo mediante un lenguaje de programación (Python).
  • Luigi: Desarrollada por Spotify, es otra herramienta popular para la orquestación de flujos de trabajo.
  • Prefect: Ofrece una interfaz más amigable y características avanzadas como la gestión de estados y la recuperación de errores.

La orquestación de flujos de trabajo en ingeniería de datos es esencial para automatizar y gestionar procesos complejos de manera eficiente y confiable.