- 4+ años en Data Engineering con experiencia productiva en Apache Spark / PySpark
- Databricks con Delta Lake, Unity Catalog y arquitectura Medallion
- Python 3.10+ (PEP8, pytest)
- GitHub + GitHub Actions con flujo profesional
- Azure Data Factory o equivalente
- ADLS Gen2 o cloud storage equivalente
Diseño y arquitectura: Diseñar pipelines escalables sobre Databricks + Unity Catalog + ADLS Gen2 aplicando arquitectura Medallion (Bronze/Silver/Gold), con estrategias de particionado apropiadas al volumen y patrones de consulta.
Optimización Spark/PySpark: Optimizar pipelines productivos (shuffles, broadcasts, small files, cache), diagnosticar bottlenecks con Spark UI y planes de ejecución, y operar Databricks de forma costo-eficiente.
Código limpio y patrones: Escribir código modular, legible y testeable. Aplicar patrones de diseño con criterio donde aporten claridad. Cumplir PEP8 e implementar tests unitarios sobre lógica crítica.
Calidad y robustez: Automatizar ETL/ELT con data quality integrada sin degradar throughput. Implementar pipelines idempotentes (MERGE INTO, replaceWhere) y manejar SCD con join temporal correcto.
CI/CD y operación: Versionar código en GitHub con flujo profesional (feature branches, PRs, code review) y mantener pipelines CI/CD con GitHub Actions (linters, tests, validaciones).
Mentoría:Mentorizar a ingenieros junior con feedback técnico constructivo. Conducir code reviews que enseñen el "por qué". Mantener documentación robusta y proponer mejoras con evidencia.
Principales retos
- Procesar volúmenes crecientes sin que los costos en la nube se disparen
- Implementar data quality que no impacte la velocidad de procesamiento
- Escribir código que el equipo pueda mantener y extender en el tiempo
- Balancear contribución técnica directa con desarrollo del equipo junior
Sobre la empresa
Somos una corporación multinacional de bebidas y alimentos con operaciones regionales, un portafolio amplio de marcas y una estrategia acelerada de transformación digital. Dentro de Apex Digital / M5, el área de Data & Analytics habilita productos analíticos, datos gobernados y capacidades avanzadas para las unidades de negocio, incluyendo CBC, Beliv, BIA y las iniciativas transversales de transformación digital.
Somos una corporación multinacional de bebidas y alimentos con operaciones regionales, un portafolio amplio de marcas y una estrategia acelerada de transformación digital. Dentro de Apex Digital / M5, el área de Data & Analytics habilita productos analíticos, datos gobernados y capacidades avanzadas para las unidades de negocio, incluyendo CBC, Beliv, BIA y las iniciativas transversales de transformación digital.
Como parte de esta evolución, la organización está avanzando hacia una arquitectura empresarial de AI Agents basada en Databricks, ADLS Gen2, Unity Catalog, Azure AI / Microsoft Foundry, Copilot Studio y Power Automate.
Perfil que buscamos:
Ingeniero de Datos con experiencia sólida en pipelines PySpark productivos sobre Databricks, foco en optimización y buenas prácticas de desarrollo, capaz de mentorizar a ingenieros junior y aportar criterio técnico al equipo.
- Optimización de pipelines con volúmenes altos (cientos de GB diarios o más)
- Terraform o infraestructura como código
- Ingesta desde MongoDB, PostgreSQL, Kafka o Event Hubs
- Plataformas multi-tenant o frameworks de ingesta reutilizables
- Auto Loader o Delta Live Tables
- Certificaciones Databricks (Data Engineer Associate/Professional)