Mission freelance Data Engineer Sénior (F/H)

Participation au recueil de besoin auprès des utilisateurs finaux

Expérience dans la BI/Data

Experience architecture Lakehouse

Expérience dans le développement et l’implémentation de solutions Big Data Analytics

Analyse du besoin, étude d'impacts et conception de la solution technique

Conception et modélisation des données au niveau d'un Data Lake (format Parquet, Delta table, …)

Construction des pipelines de données pour collecter, transformer et traiter des données dans le Data Lake

Développements de notebooks (ex : Databricks) de traitement avancé des données

Conception et modélisation des données au niveau d'un DataWarehouse (SQL)

Mise en place de traitement d'alimentation d'une base de données SQL (tables de faits, agrégats, procédures stockées, ..)

Cloud Datawarehousing (tuning, optimisation de traitements et requêtes SQL)

Rédaction de documentation technique (Dossier d'Analyse Technique, release delivery note, ….)

Expérience en tant que Tech Lead Data Engineer

Revue de code

Réalisation de tests unitaires

Maintenance corrective et évolutive

Livraison dans un environnement Devops, CI/CD et outils associés

• Conception et Développement :

  • Concevoir, développer et maintenir des pipelines de données performants en utilisant Apache Spark avec Scala et Python.

  • Implémenter des solutions de traitement de données en temps réel et en batch sur des environnements cloud, notamment Azure.

  • Développer et optimiser des requêtes SQL complexes pour le traitement et l'analyse des données.

• Intégration de Données :

  • Assurer l'intégration de données provenant de sources multiples, en optimisant leur transformation et leur stockage sur des plateformes cloud comme Azure.

  • Travailler avec des outils comme Databricks pour gérer et analyser de grands volumes de données.

• Optimisation des Performances :

  • Optimiser les pipelines de données pour garantir des performances élevées, une faible latence, et une grande fiabilité.

  • Utiliser des techniques de parallélisation et d'optimisation pour gérer des ensembles de données volumineux et complexes.

• Collaboration et Communication :

  • Collaborer étroitement avec les équipes de Data Science, de BI, et d’Ingénierie pour comprendre les besoins métiers et traduire ces besoins en solutions techniques efficaces.

  • Documenter les solutions techniques et fournir des rapports réguliers sur les performances des pipelines de données.

• Sécurité et Conformité :

  • S'assurer que les solutions de traitement de données respectent les normes de sécurité et de confidentialité en vigueur.

  • Implémenter des pratiques de gouvernance des données pour garantir la qualité et la conformité des données.