Descripción de la oferta
Bluetab, an IBM Company. We are looking for a Data Engineer with 4-5 years of experience, proficient in Scala, Python or PySpark, capable of designing, building, and executing large-scale data pipelines in Databricks and Azure cloud.Lo que harás en el día a díaDesarrollar y optimizar pipelines de datos en Scala, Python o PySpark, ejecutando procesos Spark en Databricks, garantizando rendimiento, calidad y escalabilidad.Diseñar y construir arquitecturas Data Lake y Data Warehouse en entornos Cloud, predominante Azure pero también AWS o GCP.Transformar datos a gran escala mediante Spark, aplicando buenas prácticas de procesamiento distribuido.Optimizar queries y almacenamiento en Databricks, asegurando eficiencia en el consumo de datos y reducción de costos.Integrar múltiples fuentes de datos, asegurando su calidad, consistencia y trazabilidad.Colaborar con equipos multidisciplinares, impulsando la mejora continua en procesos de ingesta, transformación y entrega de datos.
#J-18808-Ljbffr
