Engenheiro BigData
Santander Brasil
06/20 - atual
São Paulo, Brasil
- Construção e Otimização de um sistema dinamicamente parametrizado pelo usuario por um portal, cadastrando queries para execução no BigData, Processo auto-gerenciado em seus submits, para melhor antendimento de novas queries. Tecnologia utilizadas Shells Linux, PySpark, Hive, SQL Server, Control-m, Angular e Java Spring Boot.
- Membro do time responsavel pela criação dos processos em Python parametrizando o Spark, também por genrenciar de filas no YARN e Readequação ou recomendação configurações de submits.
- Ponto focal para melhorias de performance de sistemas produtivos.