Mission freelance Data engineer Databricks (F/H)

Notre client dans le secteur Banque et finance recherche un/une Data Engineer Databricks F/H

Description de la mission:

Dans le cadre d'un renfort notre client acteur du secteur bancaire recherche un Data Engineer Databricks.

Une connaissance de la technologie .net et des domaines Immobilier, Epargne, comptabilité serait un plus.

Vous serez en charge de concevoir, développer et optimiser les pipelines de données pour soutenir les besoins analytiques et opérationnels de l'entreprise.

Vous collaborerez étroitement avec les équipes Data Science, DevOps et BI pour garantir la disponibilité, la qualité et la performance des données.

Missions et Responsabilités :

Conception et Développement de Pipelines de Données :
- Créer et maintenir des pipelines de données robustes et scalables sur la plateforme Databricks.
- Assurer l’ingestion, la transformation et le traitement des données en temps réel et par batch.

Optimisation des Performances :
- Mettre en place des processus d’optimisation pour améliorer l'efficacité et la rapidité des flux de données.
- Résoudre les problèmes de performance et d’évolutivité des systèmes de données.

Gestion et Gouvernance des Données :
- Garantir la qualité des données à travers des mécanismes de validation et de surveillance.
- Assurer la conformité aux standards de gouvernance des données (sécurité, confidentialité, RGPD).

Collaboration avec les Équipes Techniques :
- Travailler avec les équipes Data Science pour préparer les données nécessaires aux modèles prédictifs.
- Collaborer avec les équipes BI pour garantir la bonne intégration des données dans les rapports et tableaux de bord.
- Supporter les équipes DevOps pour l’automatisation des processus de déploiement (CI/CD).

Compétences Techniques Requises :
- Databricks : Expertise avérée avec la plateforme Databricks (Spark, Delta Lake, MLflow).
- Langages de Programmation : Maîtrise de Python et Scala. Connaissance de SQL pour l’interrogation et la manipulation des données.
- Big Data : Expérience approfondie avec les technologies Apache Spark, Delta Lake, et Kafka. - Cloud : Bonne maîtrise des environnements cloud, en particulier Azure, ainsi que des services Data comme Azure Data Factory, Synapse Analytics.
- Bases de Données : Expérience avec les bases de données relationnelles (SQL Server, PostgreSQL) et NoSQL (MongoDB, Cassandra).
- CI/CD : Connaissance des pratiques DevOps pour le déploiement de pipelines (Azure DevOps, Jenkins, GitLab).