8 publicaciones de empleo destacadas de principal architect en madrid, md (¡Están contratando!)

Data Engineer - Streaming & Batch Pipelines
Getnet Platforms —Madrid, Madrid provincia
- SQL
- AWS
- Grado
Solicitud rápida
14d
Analista Funcional de Sistemas de Cobros (Híbrido)
Grupo Digital —San Fernando de Henares, Madrid provincia
- Jornada completa
- Trabajo híbrido
- SQL
- Agile
Solicitud rápida
DEVOPS PRODUCT OWNER ** Madrid
Grupo Digital —Madrid, Madrid provincia
- Jornada completa
- Trabajo híbrido
- Azure
- DevOps
- Inglés
Solicitud rápida
Cloud & On-Prem Engineer, Madrid
WayOps —Madrid, Madrid provincia
- Trabajo híbrido
- Azure
- DevOps
- Inglés
Ingeniero/a Cloud, DevOps
Sopra Steria —Madrid, Madrid provincia
- Jornada completa
- Trabajo híbrido
- Azure
- DevOps
- AWS
- Formación continua
- Oportunidades de crecimiento y desarrollo profesional
Solicitud rápida
Consultor Business Automation (RPA / IBM FileNet / Cloud Pak)
Grupo Digital —Madrid, Madrid provincia
- Jornada completa
- Trabajo híbrido
- Español
- Inglés
- Grado
Solicitud rápida
Principal Product Manager I - Client Service Enablement
McKinsey & Company —Madrid, Madrid provincia
- SQL
5d
Solutions Architect
Frontiers Media —Madrid, Madrid provincia
- Trabajo híbrido
- Informática
- DevOps
- Grado
- Teletrabajo opcional
- Plan de pensiones
Solicitud rápida
2d

Quiero recibir la alerta de empleo más reciente de principal architect en madrid, md

Al iniciar sesión en tu cuenta, aceptas las Condiciones del servicio de SimplyHired, nuestra Política sobre cookies y nuestra Política de privacidad.

Explorar empleos en más ubicaciones

principal architect jobs near madrid, md

Empleos de Cloud Engineer en Madrid, Madrid Provincia

Empleos de Data Engineer en Madrid, Madrid Provincia

Empleos de Product Manager en Madrid, Madrid Provincia

Empleos de Cloud Engineer en Málaga, Málaga Provincia

Empleos de Cloud Engineer en Galicia

Empleos de Data Engineer en Galicia

Empleos de Cloud Engineer en Sevilla, Sevilla Provincia

Empleos de Principal Product Manager en En Remoto

Empleos de Area Manager en Valencia Provincia

Empleos de Principal Product Manager en Barcelona, Barcelona Provincia

Empleos de Community Manager en Comunitat Valenciana

Empleos de Data Engineer en Centro Madrid, Madrid Provincia

Empleos de Software Engineer en Málaga, Málaga Provincia

Empleos de Data Engineer en Ventas De Geria, Valladolid Provincia

Empleos de Data Engineer en 08348 Cabrils, Barcelona Provincia

Empleos de Data Entry en Madrid, Madrid Provincia

Empleos de Data Engineer en Sabadell, Barcelona Provincia

Empleos de Data Scientist en En Remoto

Empleos de Product Manager en Vidrà, Girona Provincia

Empleos de Product Manager en Moncada, Valencia Provincia

Data Engineer - Streaming & Batch Pipelines

Getnet Platforms
Madrid, Madrid provincia

Solicitud rápida

Detalles del empleo

Hace 14 días

Cualificaciones

CI/CD
Spark
Git
SQL
AWS
Grado
Machine learning
Scala
Terraform
ETL
Escalabilidad
S3
Apache
Debugging

Descripción completa del empleo

SE REQUIERE

Experiencia

3+ años de experiencia como Data Engineer en entornos productivos de gran volumen, con experiencia sólida en Apache Spark, tanto en procesamiento batch como en Spark Structured Streaming, utilizando PySpark o Scala.

Estudios

Technical degree-level education: Bachelor's degree in Engineering, Technology Sciences, Mathematics, Economics, Physics, Chemistry, Statistics, or similar.

Technical skills

Apache Spark con PySpark o Scala: batch y Spark Structured Streaming.
Delta Lake: MERGE, upserts, time travel, optimización de ficheros y gestión de esquemas.
Apache Kafka y Confluent: productores y consumidores, particionado, Schema Registry y CDC mediante Debezium.
Ecosistema de datos de AWS: Glue, Data Catalog, ETL, Lambda, S3, EMR y EMR Serverless.
AWS Lake Formation: permisos a nivel de tabla y columna y gobierno de acceso.
Amazon SageMaker: integración de pipelines de datos con flujos de Machine Learning.
SQL avanzado y modelado de datos dimensional.
Change Data Capture y Slowly Changing Dimensions.
Git, CI/CD y buenas prácticas de testing en proyectos de datos.

Otras informaciones

Se valorará:

Experiencia con Kafka Streams o ksqlDB.
Experiencia con arquitecturas de lookup tables a gran escala, incluyendo point lookup, bucketing y Bloom Filters.
Conocimientos de Terraform o CloudFormation para infraestructura como código.
Experiencia en sectores regulados, especialmente en el sector financiero o de medios de pago.
Certificaciones AWS, como Data Analytics Specialty o Solutions Architect.
Buscamos un perfil con capacidad para realizar debugging profundo en sistemas distribuidos, autonomía y mentalidad "you build it, you run it".

RESPONSABILIDADES CLAVE

Diseñar, construir y operar pipelines de ingesta y transformación de datos en tiempo real y por lotes sobre una plataforma AWS nativa de streaming basada en Kafka/Confluent, Spark Structured Streaming y Delta Lake, con foco en fiabilidad, rendimiento y escalabilidad.

Actividades principales

Diseñar, desarrollar y mantener pipelines de streaming con Spark Structured Streaming y procesos batch sobre AWS.
Implementar lógica CDC, joins de enriquecimiento, gestión de checkpoints y offsets, y tratamiento de DLQ.
Integrar y mantener conectores y componentes de Confluent Kafka, incluyendo topics, Schema Registry, particionado y optimización del throughput.
Construir y optimizar tablas Delta Lake mediante particionado, Z-Ordering o Liquid Clustering, compactación, operaciones MERGE/upsert y gestión de esquemas.
Desarrollar y mantener jobs en AWS Glue, incluyendo crawlers, catálogo y procesos ETL, así como funciones AWS Lambda para orquestación y procesamiento event-driven.
Operar y optimizar cargas Spark en EMR y EMR Serverless mediante tuning de memoria, particionado, shuffle, Adaptive Query Execution y resolución de cuellos de botella.
Colaborar con los equipos de Data Science y Machine Learning en la preparación de datasets y pipelines de features para SageMaker.
Diseñar estrategias para gestionar tablas de referencia o lookup a gran escala, utilizando point lookup, caching y particionado para realizar joins de enriquecimiento eficientes.
Implementar monitorización, alertado y mecanismos de resiliencia para pipelines 24/7, incluyendo heartbeats, reintentos y checkpointing.
Evolucionar el framework interno de ETL basado en YAML y Spark, aplicando CI/CD, testing e infraestructura como código.

Solicitud rápida

Refina tu búsqueda

principal architect empleos en madrid, md

Data Engineer - Streaming & Batch Pipelines

Analista Funcional de Sistemas de Cobros (Híbrido)

DEVOPS PRODUCT OWNER ** Madrid

Cloud & On-Prem Engineer, Madrid

Ingeniero/a Cloud, DevOps

Consultor Business Automation (RPA / IBM FileNet / Cloud Pak)

Principal Product Manager I - Client Service Enablement

Solutions Architect

Quiero recibir la alerta de empleo más reciente de principal architect en madrid, md

Related Searches

Explorar empleos en más ubicaciones

Herramientas para candidatos

Herramientas para empresas

Buscar

Mantener la conexión