Data Engineer Spark/Scala

PME de 140 personnes, filiale tech d'un grand groupe.

Expert IoT et internet industriel du groupe, elle évolue sur 4 domaines d’application : Cloud et Cybersécurité / Factory Data IA / Factory IoT / Conseil IT.

Locaux:  Saint-Denis (93), Lyon, Nantes et Lille.

Vous intégrez la Factory Data & IA et plus particulièrement l’équipe Data Engineering & BI composée de 15 personnes.

3 thématiques au sein des projets de l'équipe : Gestion de la consommation d'énergie électrique, maintenance & connaissance des usagers.
Dans chaque projet, vous intervenez sur l'ensemble du cycle: cadrage et conception, phase de réalisation et exploitation.

Principales missions : 

• Intervenir sur le traitement des données (croisements, ajouts de colonnes, changements de formats)
• Stocker les données ; bien souvent à la fois dans le datalake et dans une base dédiée à l’exposition type datawarehouse (stockage modélisé de manière à optimiser les performances lors de requêtes analytiques) 
• Intervenir sur la partie applicative: développement, intégration continue, déploiement automatisé, mise en place de la supervision et de l’ordonnancement
  
  

Stack: Apache Spark, Scala, Databricks.
Cloud: Tous les projets réalisés par la Factory Data & IA sont réalisés sur le cloud, Microsoft Azure ou Amazon AWS.

Vous avez un bac+5 et vous justifiez d'une première expérience sur un poste similaire.

Compétences nécessaires :

• Maîtrise de Spark/Scala 
• Expérience précédente sur un cloud provider: AWS ou Azure de préférence

Poste ouvert à la Plaine Saint-Denis/ Nantes/ Lyon