GuíaBásico

Guía de Python para Data Engineering

Aprende a convertir un script de datos plano en un paquete Python de producción para data engineering: empaquetado con uv, tests con pytest, logging estructurado en JSON, reintentos con tenacity, y DuckDB y Polars como motores de transformación. Es la continuación de la Guía de Fundamentos de Data Engineering (el curso anterior de este ecosistema), donde construiste este pipeline como script plano: mismo caso de Kiosko, mismo pipeline, mismos datos de `orders` y `events` — lo que cambia es cómo está escrito el código que los procesa. Esta guía toma el script plano de foundations y lo convierte, módulo a módulo, en un paquete Python de producción: empaquetado con `uv` (`pyproject.toml`, layout `src/`, `uv.lock`), tests con `pytest` sobre cada función del pipeline, logging estructurado en JSON en vez de `print`, reintentos deterministas con `tenacity` para fallas transitorias, y DuckDB y Polars a fondo como los dos motores de transformación diaria que reemplazan los loops de Python puro y `sqlite3` de foundations. Nunca se usa pandas. Cierra con un capstone que ensambla el paquete completo — instalable, testeado, logueado, resiliente — y compara las tres implementaciones de la misma transformación (loop en Python, SQL con DuckDB, `LazyFrame` con Polars) para probar que producen exactamente el mismo resultado.