Head of Data Engineering (hasta €65K ➕ Bonus) para urbanData Analytics (Madrid ➖ Remote Friendly)
PROCESO FINALIZADO CON ÉXITO. urbanData Analytics ya tiene a su Head of Data Engineering :)
Estamos buscando a un game-changer para nuestros amigos de urbanData Analytics: un Head of Data Engineering
UrbanData Analytics es una empresa establecida en Madrid que vive por y para los datos. Para ellos Big Data & Machine Learning no son palabras de moda, sino su día a día: visualizaciones de datos, sets & insights, análisis e interpretación de gráficos, desarrollos de productos a partir de datos… pero mejor que te lo cuenten ellos en esta charla ;)
Todo su trabajo se centra en producir, gestionar, entregar y visualizar datos relacionados con el sector del urbanismo e inmobiliario. Toda esta información es clave para la toma de decisiones de grandes administraciones, empresas con canales físicos de venta e iniciativas inmobiliarias entre otros. Estás revolucionando un sector hasta ahora opaco con tecnología de la buena.
Dentro de urbanData Analytics, la disciplina de Data Engineering es posiblemente la más crítica de todo el equipo de ingeniería. Proporcionalmente un 30% de los desarrolladores de urbanData son Data Engineers, lo cual es un porcentaje mucho más alto que lo que te puedes encontrar por ahí.
Si te interesa el puesto, te acompañaremos durante todo el proceso y resolveremos cualquier duda que puedas tener. Estarás directamente en contacto con urbanData, pero estaremos ayudándote a resolver cualquier duda que pueda surgir.
Serás la persona de referencia del equipo de Ingeniería de Datos, liderando, mentorizando y haciendo crecer un equipo de 5 personas. Te “mancharás las manos” con regularidad y tu código será el camino a seguir para otros ingenieros de datos.
Esperan que, entre otras cosas, puedas desarrollar data pipelines con Apache Beam, Airflow, Python, Scala, SQL o lo que necesites. Serás responsable de integrar de monitorizar y implementar tests de calidad en esos pipelines, tanto para la input data como para la output data. Las alertas y notificaciones en esos pipelines será uno de los grandes retos de los próximos pasos, la calidad es lo primero en urbanData.
Además de todo eso, tendrás varios frentes abiertos que podrás priorizar y trabajar con tu equipo:
- Diseñar y evolucionar el data lake (Google Storage)
- Mantener, evolucionar y crear nuevos procesos ETL: reducir el pipeline debt, gestionar los metadatos, mejorar la cobertura de tests (a nivel unitario, integración, etc.), añadir monitorización y alertas, etc.
- Elegir e implementar la siguiente base de datos en función de necesidades de negocio. Algunas ideas que tienen son Clickhouse y BigQuery.
- Operar y evolucionar la infraestructura en Google Cloud tocando Docker o Kubernetes
- Evolucionar el actual ciclo de vida de los modelos y experimentos de Machine Learning. Evaluar herramientas como MLflow o Michelangelo.
- Automatizar el despliegue de datos: en urbanData buscan desplegar sus datasets con el mismo nivel de confianza y control que con su código. Esto significa versionar, testear y mantener la trazabilidad de datasets con un nivel de confianza similar al del código
- Ayudar a evolucionar la infraestructura de adquisición de datos: RabbitMQ, Scala, OpenVPN, Proxmox, Linux sysadmin...
Ya conocerás a gran parte del equipo, su función en urbanData Analytics y entenderás la arquitectura. Cogerás ritmo poco a poco implementando tus primeras tareas y ayudando a reducir la deuda técnica en el corto plazo.
El proceso y entorno de desarrollo de la compañía te serán muy cercanos después del proceso de onboarding y podrás proponer mejoras desde el minuto 1. De hecho ya habrás hecho de cuatro a seis despliegues en producción, esperemos que sin romper nada 😜
Irás cogiendo confianza poco a poco para atacar problemas cada vez mayores y el equipo te ayudará en cada paso del camino.
Con muchas semanas a tus espaldas ya habrás identificado qué partes del código necesitan ser refactorizados y cuáles podrás dejar para más adelante. Además, las decisiones de arquitectura irán avanzando, especialmente lo referente al sistema de monitorización y alertas.
Los despliegues serán ya cada dos o tres días y el todo el equipo estará cada vez más compenetrado. Conocerás las motivaciones y habilidades de cada uno de tus compañeros y como manager intentarás satisfacerlas y mejorarlas dentro de lo posible.
A estas alturas la arquitectura habrá cambiado mucho: más resiliente, mejor monitorizada y escalable gracias a tus decisiones y aportaciones. El sistema de despliegue, o data-deploy, funcionará cada vez mejor, y tendréis un gran control sobre la calidad del proceso y de los datasets.
Los procesos de equipo también habrán mejorado, llegando a un sistema de Despliegue Continuo y de documentación muy cerca de vuestro ideal. Todos los días estaréis más cerca de vuestro objetivo y habréis establecido una relación de confianza y colaboración muy fuerte.
Estaréis atacando las siguientes features del producto y ya identificarás dependencias y el camino crítico de implementación para ordenar y asignar las tareas relacionadas.
Por otro lado, serás la referencia de urbanData Analytics para buenas prácticas en todo lo relacionado con Big Data. Además, te animarán a participar en conferencias técnicas como speaker.
En urbanData Analytics buscan a una persona proactiva, con un gran interés por el Big Data y por seguir aprendiendo y mejorando como personal y profesional. Por ello estarás al mando de un equipo de Ingenieros de Datos en pleno crecimiento y sobre el que gira gran parte del futuro de la compañía.
Estarás trabajando en los grandes pipelines de la compañía, que procesan una gran cantidad de datos. Al lado de un equipo de auténticas estrellas trabajarás con el siguiente stack:
- Python: su lingua franca, usada en varios procesos
- Pandas: para el análisis de datos y usada como lenguaje de comunicación entre el equipo de Data Science y Data Engineering.
- Scala, están moviendo varios ETLs a Scala.
- Apache Beam y Scio ejecutados sobre Google Dataflow son las grandes herramientas para ETLs.
- Kubernetes: para correr contenedores con procesos de Python yAPIs de consumo de datos.
- Airflow: para orquestar todos los workflows.
- PostgreSQL y PostGIS son muy populares en el equipo, se ve el pasado en CARTO de varios compañeros. También usan Redis, Google Storage, Mysql, etc.
- En la mensajería tienen RabbitMQ o Google PubSub.
- CGP: sí, en urbanData Analytics corren sus ETLs en la nube.
- Daniel Carrión (Engineering manager): Dani viene de CARTO, donde fue el responsable del equipo de datos y antes de eso el director del equipo de Solutions. Lleva programando en Python más años que Matusalén, y además es un core-hacker del mundo Postgres-PostGIS. Antes de eso, ha sido CTO y fundador de varias startups.
- Nacho Carretero (SRE): Nacho es nuestro Lead SRE que se encarga de las tareas más cercanas a la infraestuctura en la nube. Viene de ser uno de los primeros SRE en MercadonaTech y antes de eso ha trabajado en proyectos para Google en ShuttleCloud.
- Jose Manuel (CTO): JM lleva más de 20 años al frente de equipos técnicos de medio mundo y viene de liderar el desarrollo de productos API-first y Mobile en Liferay. Será tu manager directo y alguien siempre dispuesto a ayudar a su equipo a que crezca, y a aprender de ellos.
Además de ellos tendrás un increíble equipo que va a eventos, hace offsites y tiene meetups en las increíbles y nuevas oficinas en Torre Europa.
Tendrás flexibilidad para trabajar desde distintos puntos pero piden un huso horario alineado con el español. Podrás trabajar en remoto, pero esperan verte al menos una vez por semana.
En cualquier caso tienen unas oficinas geniales en la Torre Europa de Madrid, en pleno Santiago Bernabéu, con unas instalaciones y comunicaciones en transporte público muy por encima de la media. Podrás ser de los primeros en ver el estadio del Real Madrid recién renovado.
Encontrar una persona que pueda llenar estos zapatos no es fácil, por eso en urbanData Analytics han hecho una lista de los Reyes Magos abierta y basada en habilidades. Como siempre, si no cumples alguno de los requisitos pero crees que encajas con la posición, estaremos encantados de conocerte.
- Dominar Python y Pandas, al menos 5 años de experiencia con ambas tecnologías
- Tener mucha experiencia con Scala, 3 años también es el tiempo referencia
- Como el nombre del puesto indica habrá mucho tiempo para las bases de datos, así que toda experiencia con SQL será muy importante en tu día a día
- Trabajarás con bases de datos de cientos de millones de filas y se irán actualizando y cuidando poco a poco.
- Ser capaz de tomar decisiones en situaciones de incertidumbre, buscar alternativas y resultados.
- Mantener una gran comunicación con el equipo de data scientists y de negocio
- Liderar e inspirar un equipo creciente de 4-6 data engineers. La disciplina de Data Engineering es la más importante dentro del equipo Tech: proporcionalmente un 30% de los desarrolladores de urbanData son Data Engineers.
- Tener experiencia con Kubernetes y Docker
- Operarás y evolucionarás clusters de Kubernetes
- Espacio y recursos para crear y sentirte importante dentro de la compañía. Podrás aportar desde el principio.
- Rango salarial hasta €65K + bonus.
- Flexibilidad horaria y de posibilidad de trabajo en remoto, aunque esperan verte al menos una vez por semana
- Gran oficina en Torre Europa, Madrid con fruta y café por cuenta de la empresa. La comida casera también correo por cuenta de la empresa, la servirá Jbfood.
- Formación y tiempo durante tu horario laboral para mejorar usando la cuenta de PluralSight de la empresa
- Presupuesto para conferencias y eventos
Si ya eres manfredita, simplemente péganos un toque. Si aún no lo eres, sólo tienes que rellenar este sencillo formulario. Por favor, indica en tu "Dream Job" que aplicas para el puesto de Head of Data Engineering en urbanData Analytics
¡Graciñas!