Responsabilidades 

• Desenvolver e manter pipelines de dados escaláveis para ingestão, transformação e carregamento de grandes volumes de dados.
• Projetar e implementar soluções de data warehousing e data lakes utilizando tecnologias de nuvem e on-premise.
• Colaborar com cientistas de dados e analistas para otimizar o acesso e a performance de dados para modelos analíticos e relatórios.
• Monitorar e otimizar a infraestrutura de dados, garantindo a qualidade, segurança e disponibilidade dos dados.
• Implementar e gerenciar sistemas de orquestração de fluxos de trabalho de dados (e.g., Apache Airflow).
• Realizar troubleshooting e resolver problemas complexos relacionados à integração e processamento de dados.
• Participar da avaliação e seleção de novas tecnologias e ferramentas para o ecossistema de dados.

Requisitos 

• Experiência comprovada (mínimo de 4 anos) com engenharia de dados, incluindo design e implementação de soluções de dados.
• Proficiência em linguagens de programação como Python ou Scala para manipulação e processamento de dados.
• Domínio em SQL avançado e experiência com bancos de dados relacionais (PostgreSQL, MySQL) e NoSQL (MongoDB, Cassandra).
• Experiência sólida com plataformas de nuvem (AWS, Azure ou GCP) e seus serviços de dados (e.g., AWS S3, EMR, Redshift, Glue; Azure Data Lake, Data Factory, Synapse; GCP BigQuery, Dataflow).
• Conhecimento em ferramentas e conceitos de Big Data (Apache Spark, Hadoop, Kafka).
• Experiência com ferramentas de orquestração de dados (Apache Airflow, Luigi, Prefect).
• Familiaridade com práticas de CI/CD e controle de versão (Git) em projetos de dados.

Habilidades 

• Python
• SQL
• Apache Spark
• AWS/Azure/GCP Data Services
• Data Warehousing
• ETL/ELT
• Apache Airflow
• Kafka
• Git