3 publicaciones de empleo destacadas de principal architect en madrid, md (¡Están contratando!)

Data Engineer - Streaming & Batch Pipelines
Getnet Platforms —Madrid, Madrid provincia
- SQL
- AWS
- Grado
Solicitud rápida
6d
DEVOPS PRODUCT OWNER ** Madrid
Grupo Digital —Madrid, Madrid provincia
- Jornada completa
- Trabajo híbrido
- Azure
- DevOps
- Inglés
Solicitud rápida
Consultor Business Automation (RPA / IBM FileNet / Cloud Pak)
Grupo Digital —Madrid, Madrid provincia
- Jornada completa
- Trabajo híbrido
- Español
- Inglés
- Grado
Solicitud rápida

More jobs to discover

Find similar jobs that you might be interested in.

DEVOPS PRODUCT OWNER ** Madrid
Grupo Digital —Madrid, Madrid provincia
Somos una consultora IT, con un equipo de más de 150 profesionales tecnológicos, en el que encontraras proyectos estables, en los principales clientes…
Solicitud rápida
Senior Software Engineer
The Workshop —Madrid, Madrid provincia
Share your knowledge and experience with colleagues, mentoring others, helping the team to grow their skills, as well as developing your own skills by…

Quiero recibir la alerta de empleo más reciente de principal architect en madrid, md

Al iniciar sesión en tu cuenta, aceptas las Condiciones del servicio de SimplyHired, nuestra Política sobre cookies y nuestra Política de privacidad.

Explorar empleos en más ubicaciones

principal architect jobs near madrid, md

Empleos de Data Engineer en Madrid, Madrid Provincia

Empleos de Product Manager en Madrid, Madrid Provincia

Empleos de Data Engineer en Centro Madrid, Madrid Provincia

Empleos de Software Engineer en Málaga, Málaga Provincia

Empleos de Data Engineer en Ventas De Geria, Valladolid Provincia

Empleos de Data Engineer en 08348 Cabrils, Barcelona Provincia

Empleos de Data Entry en Madrid, Madrid Provincia

Empleos de Data Engineer en Sabadell, Barcelona Provincia

Empleos de Data Scientist en En Remoto

Empleos de Product Manager en Vidrà, Girona Provincia

Empleos de Product Manager en Moncada, Valencia Provincia

Empleos de Product Manager en Bordils, Girona Provincia

Empleos de Product Manager en 28053 Madrid, Madrid Provincia

Empleos de Business Development Manager en Madrid, Madrid Provincia

Empleos de Product Manager en Barcelona, Barcelona Provincia

Empleos de Marketing Manager en Galicia

Empleos de Ingeniero Eléctrico en Almería Provincia

Empleos de Ingeniero De Datos en En Remoto

Empleos de Ingeniero Agrónomo en Murcia Provincia

Data Engineer - Streaming & Batch Pipelines

Getnet Platforms
Madrid, Madrid provincia

Solicitud rápida

Detalles del empleo

Hace 6 días

Cualificaciones

CI/CD
Spark
Git
SQL
AWS
Grado
Machine learning
Scala
Terraform
ETL
Escalabilidad
S3
Apache
Debugging

Descripción completa del empleo

SE REQUIERE

Experiencia

3+ años de experiencia como Data Engineer en entornos productivos de gran volumen, con experiencia sólida en Apache Spark, tanto en procesamiento batch como en Spark Structured Streaming, utilizando PySpark o Scala.

Estudios

Technical degree-level education: Bachelor's degree in Engineering, Technology Sciences, Mathematics, Economics, Physics, Chemistry, Statistics, or similar.

Technical skills

Apache Spark con PySpark o Scala: batch y Spark Structured Streaming.
Delta Lake: MERGE, upserts, time travel, optimización de ficheros y gestión de esquemas.
Apache Kafka y Confluent: productores y consumidores, particionado, Schema Registry y CDC mediante Debezium.
Ecosistema de datos de AWS: Glue, Data Catalog, ETL, Lambda, S3, EMR y EMR Serverless.
AWS Lake Formation: permisos a nivel de tabla y columna y gobierno de acceso.
Amazon SageMaker: integración de pipelines de datos con flujos de Machine Learning.
SQL avanzado y modelado de datos dimensional.
Change Data Capture y Slowly Changing Dimensions.
Git, CI/CD y buenas prácticas de testing en proyectos de datos.

Otras informaciones

Se valorará:

Experiencia con Kafka Streams o ksqlDB.
Experiencia con arquitecturas de lookup tables a gran escala, incluyendo point lookup, bucketing y Bloom Filters.
Conocimientos de Terraform o CloudFormation para infraestructura como código.
Experiencia en sectores regulados, especialmente en el sector financiero o de medios de pago.
Certificaciones AWS, como Data Analytics Specialty o Solutions Architect.
Buscamos un perfil con capacidad para realizar debugging profundo en sistemas distribuidos, autonomía y mentalidad "you build it, you run it".

RESPONSABILIDADES CLAVE

Diseñar, construir y operar pipelines de ingesta y transformación de datos en tiempo real y por lotes sobre una plataforma AWS nativa de streaming basada en Kafka/Confluent, Spark Structured Streaming y Delta Lake, con foco en fiabilidad, rendimiento y escalabilidad.

Actividades principales

Diseñar, desarrollar y mantener pipelines de streaming con Spark Structured Streaming y procesos batch sobre AWS.
Implementar lógica CDC, joins de enriquecimiento, gestión de checkpoints y offsets, y tratamiento de DLQ.
Integrar y mantener conectores y componentes de Confluent Kafka, incluyendo topics, Schema Registry, particionado y optimización del throughput.
Construir y optimizar tablas Delta Lake mediante particionado, Z-Ordering o Liquid Clustering, compactación, operaciones MERGE/upsert y gestión de esquemas.
Desarrollar y mantener jobs en AWS Glue, incluyendo crawlers, catálogo y procesos ETL, así como funciones AWS Lambda para orquestación y procesamiento event-driven.
Operar y optimizar cargas Spark en EMR y EMR Serverless mediante tuning de memoria, particionado, shuffle, Adaptive Query Execution y resolución de cuellos de botella.
Colaborar con los equipos de Data Science y Machine Learning en la preparación de datasets y pipelines de features para SageMaker.
Diseñar estrategias para gestionar tablas de referencia o lookup a gran escala, utilizando point lookup, caching y particionado para realizar joins de enriquecimiento eficientes.
Implementar monitorización, alertado y mecanismos de resiliencia para pipelines 24/7, incluyendo heartbeats, reintentos y checkpointing.
Evolucionar el framework interno de ETL basado en YAML y Spark, aplicando CI/CD, testing e infraestructura como código.

Solicitud rápida

Refina tu búsqueda

principal architect empleos en madrid, md

Data Engineer - Streaming & Batch Pipelines

DEVOPS PRODUCT OWNER ** Madrid

Consultor Business Automation (RPA / IBM FileNet / Cloud Pak)

More jobs to discover

Quiero recibir la alerta de empleo más reciente de principal architect en madrid, md

Related Searches

Explorar empleos en más ubicaciones

Herramientas para candidatos

Herramientas para empresas

Buscar

Mantener la conexión