Partager cette offre
Streamlink propose des solutions sur mesure et innovantes sur l’ensemble du cycle de développement des solutions Data, CRM / SAP, Dév & APPS, Cybersécurité, Cloud & infrastructures.
Grâce à un réseau d’excellence à travers le Monde, basé entre Tunis (Tunisie) – Paris (France) – Port Louis (Maurice), Streamlink favorise l'innovation digitale de ses clients.
Streamlink, un environnement très agile et en forte croissance recherche pour un client dans le secteur BFA un Senior Data Engineer - Lead / Dev Lead Pyspark / Fin Ops
Prestation attendues :
• Analyser et cartographier, avec les experts métiers et l'équipe de développement, le pipeline de données actuel : les modèles de données des différentes base de données utilisées; les flux de données qui existent entre les différentes sources de données (lignage des données); les règles de validation, de filtrage de calcul actuellement en place lors des transferts de données
• Assister les architectes dans la définition du nouveau pipeline de données en s'appuyant sur les service cloud
• Appuyer l'équipe de développement dans la réalisation de la nouvelle solution : Mise en place en place de la solution et des bonnes pratiques associées ; Culture du data engineering ; Expertise sur l'outillage data mise en place (ETL, base de données, PySpark, Glue)
• Être un métronome de l'agilité
Compétences Techniques :
• Catalogue des données consommées et produites et des règles de transformation associées
• Solution pour alimenter Pluri en données provenant de plusieurs SI partenaires
Compétences techniques requises :
• Expertise dans l'outillage de stockage des données (base de données, fichiers) et le traitement des données (ETL, Spark)
• Expertise Spark, quelque soit le langage de prédilection (Python, Scala, Python).
• Maitrise des bonnes pratiques de développements et de la mise en oeuvre des outils liées à la data.
• Maîtrise des technologies du Big Data, des problématiques liées à la volumétrie et aux performances
• Maîtrise des outils de gestion de code (Git) et de déploiement projet (Terraform)
• Connaissance de DataBricks
• Connaissance du cloud Azure
Savoir Faire:
• Esprit analytique, rigueur et aisance relationnelle
• Appétence et curiosité pour les nouvelles technologies, le Système d’Information et l’Agilité.
Expériences professionnelles requises :
• Plusieurs expertise significatives dans l'analyse de données et la mise en place de pipelines qu'ils soient de type batch/ETL ou événementiel/streaming
• Mise en oeuvre des outils disponibles dans le cloud AWS pour stocker et traiter de la données: Glue, Spark, Airflow, RDS, OpenSearch, S3 Parquet
Ce poste est ouvert aux personnes en situation de Handicap
Profil recherché
Savoir Faire:
• Esprit analytique, rigueur et aisance relationnelle
• Appétence et curiosité pour les nouvelles technologies, le Système d’Information et l’Agilité.
Expériences professionnelles requises :
• Plusieurs expertise significatives dans l'analyse de données et la mise en place de pipelines qu'ils soient de type batch/ETL ou événementiel/streaming
• Mise en oeuvre des outils disponibles dans le cloud AWS pour stocker et traiter de la données: Glue, Spark, Airflow, RDS, OpenSearch, S3 Parquet
Environnement de travail
Hybride
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.