Competências Técnicas (Hard Skills)
Linguagens de programação
- Python (obrigatório) — bibliotecas como Pandas, PySpark
- SQL avançado (obrigatório) — otimização de queries, window functions, CTEs
- Node JS, Java (desejável)
Processamento de dados
- Apache Spark (PySpark/Scala)
- Ferramentas de orquestração: Airflow, Dagster, Prefect ou Luigi
- Processamento batch e streaming (Kafka, Kinesis, Flink)
Bancos de dados e armazenamento
- Bancos relacionais (PostgreSQL, MySQL, SQL Server)
- Bancos NoSQL
- Data warehouses (BigQuery)
- Data lakes e formatos (Parquet, Avro, Delta Lake, Iceberg)
Cloud e infraestrutura
- GCP ou Azure
- Containers e orquestração (Docker, Kubernetes)
- Infraestrutura como código (Terraform, CloudFormation)
Engenharia de software aplicada a dados
- Modelagem de dados (dimensional, normalização, star/snowflake schema)
- Construção e manutenção de pipelines ETL/ELT
- Versionamento (Git) e CI/CD para pipelines de dados
- Testes de qualidade de dados (Great Expectations, dbt tests)
- dbt (transformação de dados)
Diferenciais (nível sênior)
- Arquitetura de dados (Data Mesh, Lakehouse)
- Governança e catalogação de dados (Data Catalog, linhagem de dados)
- Segurança e compliance (LGPD/GDPR)
- Observabilidade de pipelines (monitoramento, alertas, SLAs de dados)
Competências Comportamentais (Soft Skills)
- Resolução de problemas complexos — capacidade analítica para debugar pipelines e otimizar performance
- Comunicação com áreas não técnicas — traduzir necessidades de negócio em soluções de dados e vice-versa
- Autonomia e proatividade — especialmente para o nível sênior, que deve propor arquiteturas, não só executar
- Trabalho colaborativo — interface constante com times de Engenharia de Software, Analytics, Ciência de Dados e Produto
- Mentoria (nível sênior) — apoiar engenheiros juniores e revisar código/arquitetura
- Visão de negócio — entender o impacto dos dados nas decisões da empresa, não só a parte técnica
- Adaptabilidade — lidar com mudanças de escopo, ferramentas e tecnologias em constante evolução
- Atenção à qualidade e detalhe — dado errado gera decisão errada; rigor é essencial