Estamos em busca de uma pessoa para atuar como Engenheiro(a) de Dados, integrando nosso time e contribuindo na construção de soluções escaláveis e inteligentes para grandes volumes de dados.
Se você é apaixonado por dados, tem experiência sólida com AWS e modelagem de dados, gosta de resolver problemas complexos e colaborar com equipes multidisciplinares, essa vaga é para você!
Responsabilidades:
- Atuar no desenvolvimento e evolução de aplicações para ingestão de dados utilizando ferramentas AWS, tanto em arquitetura serveless (glue, lambda, sns, sqs, kafka, etc) quanto com arquiteturas que usam ECS;
- Realizar o entendimento das necessidades técnicas, participando de inceptions e refinamentos;
- Codificar e estruturar testes automatizados para garantia de qualidade dos entregáveis;
- Realizar code review e Deploy em produção;
- Gestão de Incidentes;
- Otimizar jobs e pipelines de dados, atuando em particionamento de dados, balanceamento de dados (skew) e tuning de performance;
- Projetar e manter orquestrações de pipelines utilizando AWS Step Functions e AWS EventBridge;
- Configurar e acompanhar monitoria/observabilidade;
- Atuar com foco em FinOps, garantindo uso eficiente de recursos na nuvem e buscando oportunidades de otimização de custo nas soluções de dados.
Requisitos para este desafio:
- Uso de IA generativa, agents e skills para agilizar o trabalho
- Sólidos conhecimentos em Python e Experiência prática com PySpark;
- Cloud com AWS (S3, glue, EC2, lambda, athena);
- Automação de testes unitários;
- Banco de dados Relacional;
- Desenvolvimento de testes automatizados usando a estratégia de pirâmide de testes;
- Refinamento técnico de histórias e de solução;
- Qualidade de código e boas práticas de programação;
- Comunicação para garantir o alinhamento com time e stakeholers;
- Capacidade de execução e proatividade.
- Otimização de custos em nuvem e boas práticas de FinOps aplicadas a pipelines de dados.
Diferenciais:
- Uso de IA generativa, agents e skills para agilizar o trabalho
- Localstack com recursos AWS (infraestrutura as a code);
- Arquitetura Serveless;
- Datadog;
- Mensageria (Kafka, SQS, SNS);