Data engineer Middle

INFORMACION CONSULTOR hace 42 minutos

Descripción

Buscamos un Data Engineer Mid enfocado en la migración controlada de activos de datos desde entornos BigQuery Sandbox hacia una plataforma gobernada en GCP Data Lake. El objetivo del rol es garantizar la continuidad del negocio durante la migración, asegurando integridad, trazabilidad y disponibilidad de la información en el nuevo entorno La persona seleccionada participará en la migración de pipelines ETL/ELT, desarrollo e ingesta de datos desde múltiples fuentes, validación y reconciliación de información, documentación de linaje y metadata, así como en la optimización de procesos analíticos existentes. También colaborará con equipos técnicos y de negocio para identificar dependencias, reconectar reportes y apoyar el decommission de sandboxes locales Esta posición requiere un perfil con experiencia sólida en ingeniería de datos, dominio de BigQuery y SQL avanzado, conocimientos en Python y orquestación con Airflow y/o Concord, además de habilidades para trabajar en entornos colaborativos y con atención al detalle

Requisitos

• 3-5 años de experiencia en ingeniería de datos
• Dominio de BigQuery: CREATE TABLE/VIEW, External Tables, Scheduled Queries, optimización de queries
• Experiencia con Airflow y/o Concord para orquestación de pipelines
• Capacidad de mapear dependencias de datos y coordinar con owners de negocio
• Atención al detalle en validación de integridad de datos post-migración
• Python para scripting y automatización de tareas de migración
• Inglés básico-intermedio (lectura de documentación técnica)
• Experiencia en retail o proyectos de consolidación de datos (deseable)

Habilidades técnicas indispensables

• SQL avanzado / BigQuery
• Python (pandas, PySpark, SQLAlchemy)
• Desarrollo de pipelines ETL/ELT (Concord, Airflow o equivalentes)
• Google Cloud Platform (GCP): BigQuery, Cloud Storage, Dataflow
• Herramientas de gobierno y calidad de datos
• Control de versiones (Git / GitHub)

Habilidades técnicas deseables

• Experiencia en proyectos de migración de datos
• Experiencia en retail o proyectos de consolidación de datos

Actividades a realizar

• Migración de pipelines ETL/ELT desde entornos Sandbox (BigQuery) hacia la plataforma de datos gobernada
• Desarrollo e ingesta de datos desde múltiples fuentes hacia el Data Lake centralizado
• Implementación de controles de calidad de datos (validaciones, reconciliación y monitoreo)
• Documentación de linaje y metadata conforme a los estándares de gobierno de datos
• Refactorización y optimización de procesos analíticos existentes para cumplir con políticas globales
• Colaboración con dominios de negocio (Finanzas, Ventas, Operaciones) para garantizar la entrega de datos confiables
• Soporte a decommission de sandboxes locales coordinando con los equipos técnicos y de negocio
• Recrear y validar estructuras de tablas en CMZ (wmt-mx-dl-controlledmgzn-prod)
• Migrar datos históricos por tabla con validación de integridad (volúmenes, frecuencias, reglas de negocio)
• Reconfigurar scheduled queries que generan tablas derivadas desde EDW PROD / Data Lake
• Identificar y documentar dependencias upstream/downstream por dominio
• Desarrollar pipelines de ingesta en Airflow hacia capas Raw - Catalog - Cmp
• Configurar y validar procesos de carga en el nuevo entorno gobernado
• Reconectar integraciones de sistemas y reportes (Looker, Power BI, Tableau) a nuevas tablas
• Completar metadata de tablas migradas (owner, descripcion, linaje)
• Ejecutar pruebas de validación y reconciliación de datos contra fuente original
• Levantar tickets JIRA para solicitudes de nuevos datasets con justificación de negocio

Perfil CONSULTOR Localización Huixquilucan, Estado de México, México (Híbrido) Experiencia 3 Años de Experiencia

o