TixelJobs
A
Axityvia Indeed

Data Engineer Sr

Huixquilucan, MEX, MXPosted 8mo ago
Data EngineerSenior#python#gcp#azure#spark#scala#java

About the Role

INFORMACION
CONSULTOR SENIOR
hace 1 hora

Descripción

El objetivo del puesto es diseñar, desarrollar y mantener procesos de integración, preparación y transformación de datos para soluciones de Business Intelligence y Analítica Avanzada, asegurando consistencia, trazabilidad y rendimiento en entornos Big Data y Cloud. El Ingeniero de Datos es responsable de construir las rutas de datos de extremo a extremo (ETL/ELT), implementar procesos automatizados y optimizar la movilidad de la información entre fuentes y destinos analíticos. Su misión es crear infraestructuras de datos escalables usando Spark, Hadoop, Hive, Databricks y plataformas en la nube (Azure/GCP), garantizando que la información esté lista para su uso en modelos predictivos, BI y machine learning .

Requisitos

  • Formación Académica: Ingeniería en Sistemas, Computación, Ciencia de Datos, Informática o afines
  • Experiencia Profesional: Mínimo 6 años en implementación de procesos ETL y 2 años en entornos Big Data
  • Idiomas: Inglés intermedio

Actividades
  • Diseñar y mantener procesos ETL y ELT para integrar, limpiar y transformar datos en entornos Big Data.
  • Desarrollar transformaciones de datos en Spark (SQL, Scala o Python) para procesamiento batch y streaming.
  • Realizar modelado de datos columnar orientado a consumo, optimización y desempeño.
  • Elegir y optimizar tecnologías Big Data (Hadoop, Hive, Databricks) según el volumen y tipo de fuente.
  • Diseñar modelos dimensionales (esquema estrella y copo de nieve) para almacenes de datos y analítica BI.
  • Comprender los requerimientos y flujos de negocio para proponer soluciones de integración de datos .
  • Implementar flujos de trabajo de orquestación y automatización (Airflow, Oozie, etc.).
  • Desarrollar procesos para la extracción desde sistemas OLTP y la carga en repositorios OLAP/DWH
  • Asegurar el rendimiento y la escalabilidad, optimizando consultas SQL y operaciones en discos distribuidos.
  • Integrar servicios mediante APIs REST y otros mecanismos
  • Garantizar la calidad, seguridad y consistencia de los datos en todas las etapas
  • Colaborar con Científicos de Datos, Analistas BI y Arquitectos de Información
  • Documentar procesos, diccionarios de datos y metodologías de transformación

Habilidades técnicas indispensables
  • Conocimientos Requeridos: Spark, Hadoop, Hive, Databricks, Azure Data Factory, GCP, Airflow, DataFlow, ETL, SQL, OLTP/OLAP, Python, Scala, Java, modelado dimensional (estrella/copo de nieve), APIs
  • Competencias Clave:Procesos ETL / ELT: Diseño y automatización de pipelines
  • Ecosistemas Big Data: Spark (SQL, Scala, Python), Hadoop, Hive, Databricks
  • Cloud Data Platforms: Azure Data Factory, Azure Databricks, Google Cloud Dataproc/Dataflow, BigQuery
  • Bases de Datos y SQL: SQL avanzado y optimización de consultas
  • Modelado de Datos: Modelos dimensionales (estrella/copo de nieve)
  • Integración y APIs: Conexión a sistemas OLTP/OLAP y exposición vía APIs REST
  • Automatización y Orquestación: Apache Airflow, Oozie, ADF, CI/CD 034 Integración...gineer.pdf.
  • Lenguajes de Programación: Python, Scala, Java, R
  • Data Quality y Monitoreo: Validación de datasets y control de errores
  • Metodologías Ágiles: Scrum/SAFe

Habilidades técnicas deseables
  • Certificaciones Deseables: Azure Data Engineer Associate, Google Cloud Data Engineer, Databricks Certified Data Engineer, Scrum Fundamentals


Perfil
CONSULTOR SENIOR
Localización
Huixquilucan, Estado de México, México (Híbrido)
Experiencia
6 Años de Experiencia

o

Share