Descripción de la oferta
¿Quiénes somos?En NWorld estamos reinventando la forma de hacer consultoría.Somos un ecosistema de compañías especializadas en Negocio, Tecnología y Operaciones, que cubren toda la cadena de valor de nuestros clientes.Las personas que formamos parte de NWorld compartimos una misma meta:? Hacer nuestros los retos de nuestros clientes.Nuestros pilares:? Búsqueda continua de especialización: Sabemos de lo que hablamos.Tecnología en nuestro ADN: Entendemos la tecnología como parte del negocio.? Innovación en todo lo que hacemos: Siempre un paso más allá.? Las personas en el centro: Somos una empresa de personas, hecha de personas y orientada a las personas.? Conócenos más en:¿Qué buscamos?Persona especializada en ingeniería de datos con sólida experiencia en Spark, para integrarse en un proyecto estratégico de alto impacto en el sector bancario. El perfil seleccionado trabajará en la construcción y optimización de pipelines de datos a gran escala.Tu día a día y responsabilidades:Diseño y desarrollo de pipelines: Construcción de procesos de datos complejos utilizando Spark.Ciclo de vida del dato: Liderar tareas de ingestión de datos desde formatos de texto en staging zones, masterización desde raw data, encriptación y procesamiento masivo de datos.Gestión declarativa: Configuración y despliegue de pipelines mediante archivos HOCON, asegurando la modularidad entre datos de entrada, transformaciones y datos de salida.Validación y calidad: Garantizar la integridad del dato mediante el uso de esquemas de entrada/salida y la implementación de reglas de calidad.Optimización: Mejora continua del rendimiento en procesos distribuidos para garantizar la eficiencia en los tiempos de ejecución.Requisitos imprescindibles:Experiencia técnica: Entre 2 y 3 años de experiencia real trabajando con Apache Spark en entornos productivos de gran escala.Procesamiento distribuido: Sólidos conocimientos en computación en memoria, optimización de shuffles (redistribución de datos entre nodos) y gestión de recursos en clústeres.Capacidad analítica: Experiencia en la resolución de incidencias técnicas complejas y depuración de procesos Big Data.Requisitos deseables:Ecosistema Kirby y Dataproc: Conocimiento del framework Kirby para el desarrollo ágil en Dataproc (GCP) y su arquitectura basada en componentes.Validación: Familiaridad con la herramienta Hammurabi (control de calidad del dato).Sector: Experiencia previa en proyectos tecnológicos para el sector financiero o bancario.
#J-18808-Ljbffr
