The posting
Somos umaconsultoria com mais de 12 anos de experiência em TI, Inovação, Otimização deProcessos, Softwares de Gestão, Desenvolvimento e Suporte a Sistemas, e Recrutamento de Profissionais de TI. Comprometidos com qualidade e inovação,oferecemos projetos de tecnologia sob medida, atendendo comexcelência todo o Brasil.
Buscamos um(a) Engenheiro(a) de Dados para o programa de migração do DW legado para o Enterprise Lakehouse Databricks, com a missão de reconstruir os pipelines hoje implementados em DataStage e Azure Synapse — sem lift-and-shift. A partir da engenharia reversa dos jobs atuais. Será responsável por reimplementar os pipelines nativamente em PySpark e Spark SQL sobre a arquitetura medalhão (bronze/silver/gold), executando as waves de reconstrução por domínio com reconciliação e paridade contra o DW legado até o cutover.
Requisitos necessários:
• PySpark e Python avançados: desenvolvimento de pipelines batch em escala, com testes e boas práticas de engenharia. • SQL avançado e modelagem de dados: transformações complexas, tuning de performance e modelagem relacional/dimensional em contexto de DW. • Databricks e Delta Lake: jobs, workflows e arquitetura medalhão (bronze, silver, gold) em produção; Delta Live Tables / Lakeflow e Asset Bundles. • Migração / reconstrução de pipelines ETL: tradução de regras de negócio de ferramentas legadas para Spark (sem lift-and-shift), com ingestão CDC/batch de bancos relacionais. • Ecossistema AWS: S3, Glue, EMR, Athena, Lambda, DMS e Step Functions. • Azure Synapse: experiência com o ambiente legado (SQL pools e pipelines) para apoiar a engenharia reversa. • Qualidade e reconciliação de dados: testes automatizados, DQ gates e comparação legado × novo para aceite de paridade. • Git e CI/CD aplicados a pipelines de dados.
- Atuação: Hibrido 2 dias pressenciais - SP
- Formação: Graduação Concluída
- Idioma : Inglês Avançado



