Data Engineer MS Fabric PySpark

En tant quIngénieur Data vous rejoindrez notre équipe data afin de participer à des projets stratégiques danalyse de données et de mise en place de solutions de traitement de données à grande échelle. Vous serez responsable de la conception de loptimisation et du développement de pipelines de données sur des plateformes cloud avec un focus sur lutilisation de PySpark et Azure Data Factory .

Vos principales missions seront :

• Concevoir développer et maintenir des pipelines de données à grande échelle utilisant PySpark .
• Mettre en place des flux de données avec Azure Data Factory en intégrant des sources et destinations de données variées (SQL Data Lakes APIs etc.).
• Assurer lintégration de données provenant de systèmes variés dans un environnement cloud (Azure).
• Optimiser les performances des traitements de données (SQL PySpark etc.).
• Collaborer avec les équipes métier data analysts et data scientists pour comprendre les besoins et proposer des solutions efficaces et scalables.
• Participer à la définition de larchitecture des données et de la stratégie de gouvernance.
• Mettre en place et assurer le monitoring des jobs de traitement de données (gestion des erreurs gestion des performances).
• Documenter les solutions mises en place et suivre les bonnes pratiques de développement.
• Participer à lamélioration continue des processus et outils existants.

Qualifications :

Formation et expérience :

Compétences techniques :

Aptitudes personnelles :

Informations supplémentaires :

Pourquoi rejoindre notre équipe

Remote Work : Yes

Employment Type : Full-time

Key Skills

Disaster Recovery,Customer Service,Database,Benefits,AV

Experience : years

Vacancy : 1