7 publicaciones de empleo destacadas en data engineer streaming & batch pipelines (¡Están contratando!)

Data Engineer - Streaming & Batch Pipelines
Getnet Platforms —Madrid, Madrid provincia
- SQL
- AWS
- Grado
Solicitud rápida
8d
Prácticas Data Architect | Data Engineer
Capgemini —Madrid, Madrid provincia
- Informática
- Inglés
- Bases de datos
Data Governance Engineer
Getnet Platforms —Madrid, Madrid provincia
- SQL
- AWS
- Grado
Solicitud rápida
2d
Arquitecto de Soluciones del Dato | Data Engineer & Cloud Analytics Barcelona
Deloitte —Barcelona, Barcelona provincia
- Teletrabajo
- Azure
- Informática
- DevOps
- Flexibilidad horaria
Arquitecto de Soluciones del Dato | Data Engineer & Cloud Analytics
Deloitte —Madrid, Madrid provincia
- Teletrabajo
- Azure
- Informática
- DevOps
- Flexibilidad horaria
Arquitecto/a Data & AI senior
BIP - Business Integration Partners —Madrid, Madrid provincia
- Jornada completa
- Trabajo híbrido
- Español
- Azure
- Máster
Big Data & AI Engineer (Middle) - SerdatIA
Seresco —España
- Jornada completa
- Teletrabajo
- Azure
- Informática
- DevOps
- Plus transporte
- Seguro médico privado
7d

More jobs to discover

Find similar jobs that you might be interested in.

Prácticas Data Architect | Data Engineer
Capgemini —Madrid, Madrid provincia
Diseño, evaluación y uso de pipelines de datos para tareas específicas, como ingestión desde APIs, bases de datos, ficheros o servicios externos.
Deloitte SW Engineer - Experience Cloud Native AWS 1
Deloitte —Barcelona, Barcelona provincia
️ Un día a día híbrido-flexible: tendrás horario flexible y un buen equilibrio entre el teletrabajo y el trabajo en equipo en nuestras oficinas o las de…

Quiero recibir la alerta de empleo más reciente de data engineer streaming & batch pipelines

Al iniciar sesión en tu cuenta, aceptas las Condiciones del servicio de SimplyHired, nuestra Política sobre cookies y nuestra Política de privacidad.

Explorar empleos en más ubicaciones

data engineer streaming & batch pipelines jobs near

Empleos de Data Engineer en Madrid, Madrid Provincia

Empleos de Data Architect en Madrid, Madrid Provincia

Empleos de Data Governance en Madrid, Madrid Provincia

Empleos de Arquitecto Senior en Madrid, Madrid Provincia

Empleos de Data Engineer en Centro Madrid, Madrid Provincia

Empleos de Software Engineer en Málaga, Málaga Provincia

Empleos de Data Engineer en Ventas De Geria, Valladolid Provincia

Empleos de Data Engineer en 08348 Cabrils, Barcelona Provincia

Empleos de Data Entry en Madrid, Madrid Provincia

Empleos de Data Engineer en Sabadell, Barcelona Provincia

Empleos de Data Scientist en En Remoto

Empleos de Junior Architect en Madrid, Madrid Provincia

Empleos de Data Analyst en En Remoto

Empleos de Data Governance en Mairena Del Aljarafe, Sevilla Provincia

Empleos de Data Entry,remote en Málaga Provincia

Empleos de Data Governance en Barcelona, Barcelona Provincia

Empleos de Becario, Data Science en Madrid, Madrid Provincia

Empleos de Arquitecto en Valencia, Valencia Provincia

Empleos de Renderista, Modelator, 3d, Arquitecto en Valencia, Valencia Provincia

Empleos de Arquitecto Senior en Madrid Provincia

Data Engineer - Streaming & Batch Pipelines

Getnet Platforms
Madrid, Madrid provincia

Solicitud rápida

Detalles del empleo

Hace 8 días

Cualificaciones

CI/CD
Spark
Git
SQL
AWS
Grado
Machine learning
Scala
Terraform
ETL
Escalabilidad
S3
Apache
Debugging

Descripción completa del empleo

SE REQUIERE

Experiencia

3+ años de experiencia como Data Engineer en entornos productivos de gran volumen, con experiencia sólida en Apache Spark, tanto en procesamiento batch como en Spark Structured Streaming, utilizando PySpark o Scala.

Estudios

Technical degree-level education: Bachelor's degree in Engineering, Technology Sciences, Mathematics, Economics, Physics, Chemistry, Statistics, or similar.

Technical skills

Apache Spark con PySpark o Scala: batch y Spark Structured Streaming.
Delta Lake: MERGE, upserts, time travel, optimización de ficheros y gestión de esquemas.
Apache Kafka y Confluent: productores y consumidores, particionado, Schema Registry y CDC mediante Debezium.
Ecosistema de datos de AWS: Glue, Data Catalog, ETL, Lambda, S3, EMR y EMR Serverless.
AWS Lake Formation: permisos a nivel de tabla y columna y gobierno de acceso.
Amazon SageMaker: integración de pipelines de datos con flujos de Machine Learning.
SQL avanzado y modelado de datos dimensional.
Change Data Capture y Slowly Changing Dimensions.
Git, CI/CD y buenas prácticas de testing en proyectos de datos.

Otras informaciones

Se valorará:

Experiencia con Kafka Streams o ksqlDB.
Experiencia con arquitecturas de lookup tables a gran escala, incluyendo point lookup, bucketing y Bloom Filters.
Conocimientos de Terraform o CloudFormation para infraestructura como código.
Experiencia en sectores regulados, especialmente en el sector financiero o de medios de pago.
Certificaciones AWS, como Data Analytics Specialty o Solutions Architect.
Buscamos un perfil con capacidad para realizar debugging profundo en sistemas distribuidos, autonomía y mentalidad "you build it, you run it".

RESPONSABILIDADES CLAVE

Diseñar, construir y operar pipelines de ingesta y transformación de datos en tiempo real y por lotes sobre una plataforma AWS nativa de streaming basada en Kafka/Confluent, Spark Structured Streaming y Delta Lake, con foco en fiabilidad, rendimiento y escalabilidad.

Actividades principales

Diseñar, desarrollar y mantener pipelines de streaming con Spark Structured Streaming y procesos batch sobre AWS.
Implementar lógica CDC, joins de enriquecimiento, gestión de checkpoints y offsets, y tratamiento de DLQ.
Integrar y mantener conectores y componentes de Confluent Kafka, incluyendo topics, Schema Registry, particionado y optimización del throughput.
Construir y optimizar tablas Delta Lake mediante particionado, Z-Ordering o Liquid Clustering, compactación, operaciones MERGE/upsert y gestión de esquemas.
Desarrollar y mantener jobs en AWS Glue, incluyendo crawlers, catálogo y procesos ETL, así como funciones AWS Lambda para orquestación y procesamiento event-driven.
Operar y optimizar cargas Spark en EMR y EMR Serverless mediante tuning de memoria, particionado, shuffle, Adaptive Query Execution y resolución de cuellos de botella.
Colaborar con los equipos de Data Science y Machine Learning en la preparación de datasets y pipelines de features para SageMaker.
Diseñar estrategias para gestionar tablas de referencia o lookup a gran escala, utilizando point lookup, caching y particionado para realizar joins de enriquecimiento eficientes.
Implementar monitorización, alertado y mecanismos de resiliencia para pipelines 24/7, incluyendo heartbeats, reintentos y checkpointing.
Evolucionar el framework interno de ETL basado en YAML y Spark, aplicando CI/CD, testing e infraestructura como código.

Solicitud rápida

Refina tu búsqueda

data engineer streaming & batch pipelines empleos

Data Engineer - Streaming & Batch Pipelines

Prácticas Data Architect | Data Engineer

Data Governance Engineer

Arquitecto de Soluciones del Dato | Data Engineer & Cloud Analytics Barcelona

Arquitecto de Soluciones del Dato | Data Engineer & Cloud Analytics

Arquitecto/a Data & AI senior

Big Data & AI Engineer (Middle) - SerdatIA

More jobs to discover

Quiero recibir la alerta de empleo más reciente de data engineer streaming & batch pipelines

Explorar empleos en más ubicaciones

Herramientas para candidatos

Herramientas para empresas

Buscar

Mantener la conexión