Coopter - Senior Data Engineer

Poste :

Contexte :
Vous intégrez l'équipe technique déjà en place et apportez votre expertise notamment sur des sujets d'architecture, de scalabilité, d'amélioration des pipelines de génération de catalogue et des processus sur AWS avec pour but de générer un catalogue en quelques heures (généré une fois par mois en ce moment).

 Missions principales : 

• Concevoir, développer et gérer des pipelines de données fiables et évolutifs en utilisant des outils comme PySpark et des frameworks ETL
• Optimiser et maintenir des architectures AWS avec Glue, S3, lambdas
• Gérer et optimiser la structure de la base de données avec MongoDB
• Automatiser les pipelines de déploiement et les tâches d’administration des données
• Faire de l’Infrastructure as Code avec Terraform
• Collaborer avec les équipes Produit et Business afin de fournir des données prêtes à l’analyse
• Assurer la qualité et l’intégrité des données tout au long des pipelines
• Documenter les processus et pipelines de données et promouvoir les bonnes pratiques en data engineering