Olá, aqui é a Wal da CI&T!
Sou do time de Talent Attraction e procuro profissionais localizados no Brasil para a posição de Mid Level/Senior Data Developer (Python/AWS Glue/PySpark), que atuarão em um projeto do ramo financeiro.
Você vai atuar no desenvolvimento e evolução de pipelines e aplicações de ingestão de dados, trabalhando com arquiteturas serverless e containerizadas dentro do ecossistema AWS. O trabalho exige autonomia técnica, senso de qualidade e boa comunicação com times multidisciplinares.
Responsabilidades:
-
Desenvolver e evoluir aplicações de ingestão de dados com AWS (Glue, Lambda, ECS, SNS, SQS, Kafka)
-
Participar de inceptions e refinamentos técnicos
-
Escrever e manter testes automatizados com foco na pirâmide de testes
-
Realizar code review e contribuir para a evolução da qualidade do código
-
Atuar em gestão de incidentes e deploys em produção
Requisitos:
-
Experiência sólida em Python
-
Familiaridade com AWS Glue, Lambda, S3, EC2 e Athena
-
Conhecimento em PySpark
-
Automação de testes unitários e pirâmide de testes
-
Banco de dados relacional
-
Capacidade de refinamento técnico de histórias e soluções
-
Qualidade de código e boas práticas de programação
-
Comunicação clara e alinhamento com o time
Será um diferencial:
-
LocalStack e infraestrutura como código
-
Arquitetura serverless avançada
-
Observabilidade
-
Mensageria: Kafka, SQS, SNS
-
Step Functions e orquestração de pipelines (conceito de DAG)
-
Arquitetura Medallion (Bronze, Silver e Gold)
-
Datamesh e governança federada de dados
-
FinOps aplicado a dados
-
Ferramentas de qualidade de dados: Great Expectations, Deequ ou PyDeequ