Senior Data Engineer - Pipelines de Datos en AWS at DaCodes

We are redirecting you to the source. If you are not redirected in 3 seconds, please click here.

Senior Data Engineer - Pipelines de Datos en AWS at DaCodes. ¡Trabaja en DaCodes!. Somos una firma de expertos en software y transformación digital de alto impacto.. Durante 10 años hemos desarrollado soluciones innovadoras y tecnológicas gracias a nuestro equipo de . +220 talentosos #DaCoders. , quienes colaboran en proyectos con clientes en . LATAM y Estados Unidos. , logrando resultados sobresalientes.. En . DaCodes. , tendrás la oportunidad de . impulsar tu desarrollo profesional. trabajando con tecnologías de punta y participando en proyectos desafiantes que impactan a grandes empresas globales.. Nuestros . DaCoders. son parte fundamental del éxito de la empresa y de nuestros clientes. Podrás trabajar con startups disruptivas y marcas globales, aportando tu experiencia y conocimiento.. Ingeniero de Datos. Descripción del puesto. Buscamos un . Ingeniero de Datos. con experiencia en . ingesta y orquestación nativa en AWS. , modelado de . Data Lakes. y . Data Warehouses. , procesamiento de datos a gran escala, aseguramiento de la calidad y gobernanza de datos.. El candidato ideal debe tener conocimientos en la construcción y automatización de pipelines para ingesta de datos, modelado de datos en formatos open-table, procesamiento con Spark y Lambda, y experiencia en CI/CD y observabilidad para ambientes de datos.. Requisitos. . Experiencia comprobada en arquitecturas nativas de AWS para ingesta y orquestación de datos. . . Manejo avanzado de herramientas y servicios para procesamiento de datos a gran escala (. Spark, Lambda, Kinesis. ). . . Conocimientos sólidos en modelado de datos open-table y arquitecturas de . Data Lake. y . Data Warehouse. . . . Dominio de programación en . Python. o . Scala. para ETL/ELT y transformaciones. . . Experiencia en aseguramiento de calidad de datos y monitoreo continuo (. Great Expectations, Datadog. ). . . Conocimiento de seguridad en la nube, cifrado y gobernanza de datos. . . Inglés preferente, para comunicación técnica efectiva con equipos internacionales (no excluyente). . Habilidades Deseables. . . Generación automática de pipelines mediante plantillas en . Terraform o CDK. para despliegues parametrizados. . . Experiencia con sistemas de . feature serving en tiempo real. como . SageMaker Feature Store, DynamoDB o Redis. . . . Competencia en . FinOps. , optimizando costos en infraestructura serverless o con escalado inteligente. . . Diseño de esquemas para . gamification. y ad-tech, manejando eventos a alta velocidad (10k eventos/seg). . . Conocimiento en frameworks de experimentación como . A/B testing. , medición de incrementalidad o aprendizaje por refuerzo para juegos personalizados.. Responsabilidades. . . Construir pipelines batch o micro-batch (SLA ≤ 24 horas) para ingesta de eventos y perfiles desde . S3/Kinesis. hacia almacenes de datos (. Data Warehouse. ). . . Automatizar DAGs específicos de campañas con . AWS Step Functions. o . Managed Airflow. , que se provisionan al inicio y se eliminan tras finalizar la campaña. . . Modelar datos en formatos open-table particionados en . S3. usando tecnologías como . Iceberg, Hudi o Delta. , con versionado por campaña. . . Realizar cargas ELT a . Redshift Serverless. o consultas en . Athena/Trino. usando patrones de snapshot e incrementales. . . Desarrollar transformaciones de datos con . Glue Spark jobs. o . EMR en EKS. para procesos pesados, y usar . Lambda. o . Kinesis Data Analytics. para enriquecimientos ligeros. . . Programar en . Python (PySpark, Pandas, boto3). o . Scala. para procesamiento de datos. . . Implementar pruebas declarativas de calidad de datos con herramientas como . Great Expectations o Deequ. que se ejecutan diariamente durante campañas activas. . . Gestionar pipelines de infraestructura y código mediante . GitHub Actions. o . CodePipeline. , con alertas configuradas en . CloudWatch. o . Datadog. . . . Asegurar seguridad y gobernanza de datos con . Lake Formation. , cifrado a nivel de columna y cumplimiento de normativas como . GDPR/CCPA. . . . Gestionar roles IAM con . principio de mínimo privilegio. para pipelines de campañas temporales. . . Exponer modelos semánticos en . Redshift/Athena. para herramientas BI como . Looker. (LookML, PDTs) o conectados a . Trino. . . . Company Location: Mexico.