Ingeniero de Datos Azure Senior
Habilidades Requeridas:
- 5+ años de experiencia en Ingeniería de Datos.
- Experiencia sólida en diseño, desarrollo y optimización de procesos ETL/ELT.
- Dominio de servicios Azure: Azure Data Factory (ADF), Azure Databricks, Azure Synapse Analytics / Azure SQL Data Warehouse, Azure Event Hubs
- Experiencia comprobable en diseño de bases de datos transaccionales.
- Conocimientos avanzados de bases de datos SQL y NoSQL.
- Experiencia desarrollando en Python y Scala dentro de entornos Databricks.
- Experiencia con procesamiento de datos a gran escala mediante Apache Spark.
- Conocimiento de arquitecturas orientadas a eventos y consumo de microservicios.
- Experiencia trabajando con formatos de datos: JSON, XML, CSV, Parquet
- Conocimiento y administración de Unity Catalog.
- Experiencia en implementación y mantenimiento de procesos CI/CD para soluciones de datos.
- Capacidad para optimizar consultas, procesos de extracción y rendimiento de plataformas de datos.
Habilidades Deseables:
- Experiencia con Kafka u otras plataformas de streaming.
- Conocimiento de Data Lakehouse Architecture.
- Experiencia con Terraform o herramientas de Infraestructura como Código (IaC).
- Certificaciones Microsoft Azure relacionadas con Data Engineering.
- Experiencia en ambientes ágiles (Scrum / Kanban).
- Conocimiento de gobierno de datos, calidad de datos y seguridad en Azure.
Responsabilidades
- Diseñar, desarrollar y mantener pipelines de ingesta, procesamiento y transformación de datos.
- Implementar soluciones robustas y escalables utilizando Azure Databricks y Azure Data Factory.
- Diseñar y optimizar bases de datos transaccionales y modelos de almacenamiento de datos.
- Garantizar la calidad, integridad y disponibilidad de la información.
- Integrar múltiples fuentes de datos estructurados y no estructurados.
- Implementar y administrar Unity Catalog para el gobierno y control de acceso a datos.
- Optimizar procesos de extracción y procesamiento para grandes volúmenes de información.
- Participar en la definición de arquitecturas de datos modernas basadas en eventos y microservicios.
- Colaborar con equipos multidisciplinarios para entender requerimientos de negocio y transformarlos en soluciones técnicas.
- Implementar y mantener procesos de integración y despliegue continuo (CI/CD).
- Identificar y resolver problemas de rendimiento, calidad y confiabilidad de los datos.
Idiomas Requeridos
Ingles Básico
Ubicación
México o Colombia