Data Engineer Pleno
Descrição da vaga
Na Bemobi valorizamos o espírito inovador e colaboramos para que pessoas potencializem o seu melhor e, juntos, identificamos afinidades e oportunidades.
Se você procura desenvolvimento, desafios e um ótimo ambiente de trabalho, está no lugar certo!
O time de Data Platform faz parte da Tribo de Dados e é responsável por construir e manter a infraestrutura escalável, confiável e segura que sustenta todo o ciclo de vida dos dados na Bemobi. Nossa missão é democratizar o uso de
dados, facilitando o acesso, garantindo disponibilidade e promovendo a exploração por todos os times da empresa.
#SejaBemober 💙🚀
Responsabilidades e atribuições
- Operar e evoluir o Data Lake: trabalhar os dados em suas zonas Raw, Processed e Refined, incluindo processos de deduplicação, catalogação e otimização de armazenamento (Parquet, Iceberg).
- Operar e monitorar pipelines de streaming via Kafka: criação de tópicos, conectores, ACLs, credenciais e acompanhamento de consumer lag para pipelines de streaming em tempo real.
- Contribuir com a evolução da API da Plataforma de Dados: criação e manutenção de módulos da nossa plataforma que abstraem para usuários e desenvolvedores processos de ingestão (podendo ser por arquivos, CDC ou streaming de dados), processamento de dados em plataformas de Big Data (Spark / Redshift) e orquestração de pipelines (Airflow).
- Investigar e resolver incidentes: Saber interpretar falhas em pipelines, carga de datasets, duplicação de dados e erros em clusters e auxiliar na resolução de incidentes.
- Utilizar e contribuir com a infraestrutura como código (IaC): Uso de Terraform, operando recursos AWS sob orientação da equipe.
- Participar de iniciativas de modernização e integração com ferramentas de IA: Uso LLMs como ferramenta para criação de agentes e criação de ferramentas que permitem a integração da IA aos nossos sistemas (MCP Servers).
- Manutenção de Documentação e Monitoramento: Contribuir com documentação técnica de nossas ferramentas e arquitetura. Manter as nossas ferramentas de observabilidade.
Requisitos e qualificações
Obrigatórios:
- Experiência sólida (3+ anos) em Engenharia de Dados ou áreas correlatas.
- Proficiência em Python para desenvolvimento de pipelines, scripts de automação e integrações.
- Noções de arquitetura de software.
- Experiência prática com SQL avançado.
- Conhecimento em Apache Airflow.
- Experiência com serviços AWS: S3, Redshift, EMR (Spark).
- Conhecimento em Apache Kafka: conceitos de tópicos, produtores/consumidores, conectores (Debezium, S3 Sink).
- Familiaridade com Git e fluxos de CI/CD (Bitbucket Pipelines ou similares).
- Conhecimento de arquiteturas de Data Lake (Lakehouse, Arquitetura Medalhão).
- Boa comunicação e capacidade de atuar de forma autônoma em um time ágil.
Diferenciais:
- Experiência com Apache Spark (PySpark, SparkSQL).
- Experiência com Terraform ou outra ferramenta de Infrastructure as Code.
- Conhecimento em C# / .NET.
- Familiaridade com Debezium para Change Data Capture (CDC).
- Experiência com formatos de tabela modernos (Apache Iceberg, Hudi, Delta).
- Conhecimento em Grafana para monitoramento e dashboards operacionais.
- Experiência com OpsGenie/JSM para gestão de incidentes e alertas.
- Familiaridade com Redshift.
- Inglês técnico para leitura de documentação e comunicação com times LATAM.
Informações adicionais
O QUE VOCÊ VAI ENCONTRAR AQUI! ✌️
🥼Plano de Saúde Bradesco Rede Nacional - estendido a dependentes sem desconto por beneficiário;
🦷Plano odontológico Bradesco - opcional;
🏖️VR/VA flexível - mantido durante as férias;
🤑PLR - participação nos lucros;
💦Wellhub;
🎉Day off de aniversário;
🏠Auxílio Home Office;
🚌VT conforme necessidade - desconto permitido por lei;
❤️ Seguro de Vida;
📱Acesso gratuito a todos os nossos produtos - AppsClub, Clube de Descontos, TrueCaller, BTFit e Busuu;
📚 Acesso a treinamentos internos por meio de plataformas digitais;
🏆Programa de reconhecimento interno entre colaboradores - Bemobucks.
Etapas do processo
- Etapa 1: Cadastro
- Etapa 2: Fit Cultural
- Etapa 3: Pré-entrevista
- Etapa 4: Entrevista People & Culture
- Etapa 5: Entrevista Gestão 1
- Etapa 6: Entrevista Gestão 2
- Etapa 7: Entrevista Gestão 3
- Etapa 8: Proposta
- Etapa 9: Contratação
Conheça mais sobre nós 😉