Experiência na criação de processos ETL/data warehouse usando serviços do Azure, especialmente Azure Data Factory e Databricks.
Proficiência prática com Azure Storage, Azure Synapse Analytics, Azure Data Lake, Azure Analysis Services e Azure Cosmos DB.
Habilidades de programação em Python, Scala e Spark SQL, além da capacidade de usar PowerShell ou Azure CLI para automação.
Sólido conhecimento de SQL, origem de dados e integração entre serviços da Microsoft e plataformas de terceiros.
Projetar, implementar e manter pipelines de dados escaláveis para ingestão, processamento e transformação no Azure.
Capacidade de otimizar, monitorar e solucionar problemas em pipelines de dados para desempenho, disponibilidade e custo-benefício.
Experiência com Azure DevOps para CI/CD e automação, incluindo ferramentas de script e implantação.
Experiência anterior no projeto de pipelines de dados integrados e de alto desempenho em múltiplas fontes de dados para ambientes corporativos.
Experiência anterior no desenvolvimento de frameworks escaláveis e reutilizáveis para ingestão e enriquecimento de conjuntos de dados em projetos de big data.
Habilidades em gestão de projetos, engajamento de stakeholders e execução de projetos para gerenciar riscos e garantir entregas pontuais e de qualidade.
Inglês avançado
Desejável (um plus se você tiver):
Conhecimento em negociação de gás/energia - Negociação de curto prazo, negociação de ativos físicos (CCGT, eólica, solar, baterias).
Risco - Modelagem e compreensão de risco e gestão de risco.
Habilidades quantitativas - Métodos estatísticos para verificar e investigar dados numéricos para obter insights práticos.
Modelagem de commodities - Energia (energia elétrica, gás, produtos ambientais) e meteorologia.
Experiência com linguagens de script como YAML, PowerShell, Terraform etc.
Experiência com ferramentas de big data: Kafka, Hadoop, Spark e tecnologias similares. Experiência com sistemas de processamento de fluxo de dados.
Experiência com ferramentas de gerenciamento de pipelines de dados e fluxos de trabalho: Azkaban, Luigi, Airflow e outras.
Conhecimento em Python, incluindo: Numpy, Pandas, Django.
Certificação em Azure
POR QUE CAPCO: