Offre d'emploi DATA ENGINEER

Bonjour à tous,

Je recherche pour un de mes clients dans le domaine de l'assurance un consultant Data Engineer :

• Conception et développement de pipelines de données en utilisant Python et Apache Spark pour traiter des volumes importants de données.

• Déploiement et gestion des workflows sur Databricks, avec une optimisation continue des performances des pipelines.

• Mise en place de pipelines CI/CD pour l'automatisation des déploiements, utilisant GitHub et des outils d'intégration continue tels que GitHub Actions, Jenkins, ou autres.

• Collaboration avec les équipes produit, data science et infrastructure pour assurer la cohérence des flux de données, la maintenance des environnements et la résolution des problèmes techniques.

• Participation aux revues de code et à la gestion des versions sur GitHub pour garantir des pratiques de développement robustes et sécurisées.

• Databricks : Bonne connaissance de l'écosystème Databricks pour le traitement de données distribuées.

• Python : Maîtrise avancée du langage, notamment pour la manipulation de données et la création d'outils automatisés.

• Apache Spark : Expertise dans le traitement de données massives via Spark.

• GitHub : Expérience dans la gestion de version avec Git, les revues de code et la gestion de workflows d'intégration continue.

• CI/CD : Solide expérience dans la mise en place et la gestion de pipelines d'intégration et de déploiement continus (CI/CD) avec des outils comme GitHub Actions, Jenkins ou équivalents.

• Expérience d’au moins 3 à 5 ans dans un rôle similaire.

• Connaissance des architectures de données distribuées et expérience en ETL et transformation de données.

• Capacité à résoudre des problèmes complexes et à optimiser les performances des pipelines.

• Expérience en méthodologies de travail Agile/Scrum.

Bonjour à tous,

Je recherche pour un de mes clients dans le domaine de l'assurance un consultant Data Engineer :

• Conception et développement de pipelines de données en utilisant Python et Apache Spark pour traiter des volumes importants de données.

• Déploiement et gestion des workflows sur Databricks, avec une optimisation continue des performances des pipelines.

• Mise en place de pipelines CI/CD pour l'automatisation des déploiements, utilisant GitHub et des outils d'intégration continue tels que GitHub Actions, Jenkins, ou autres.

• Collaboration avec les équipes produit, data science et infrastructure pour assurer la cohérence des flux de données, la maintenance des environnements et la résolution des problèmes techniques.

• Participation aux revues de code et à la gestion des versions sur GitHub pour garantir des pratiques de développement robustes et sécurisées.

• Databricks : Bonne connaissance de l'écosystème Databricks pour le traitement de données distribuées.

• Python : Maîtrise avancée du langage, notamment pour la manipulation de données et la création d'outils automatisés.

• Apache Spark : Expertise dans le traitement de données massives via Spark.

• GitHub : Expérience dans la gestion de version avec Git, les revues de code et la gestion de workflows d'intégration continue.

• CI/CD : Solide expérience dans la mise en place et la gestion de pipelines d'intégration et de déploiement continus (CI/CD) avec des outils comme GitHub Actions, Jenkins ou équivalents.

• Expérience d’au moins 3 à 5 ans dans un rôle similaire.

• Connaissance des architectures de données distribuées et expérience en ETL et transformation de données.

• Capacité à résoudre des problèmes complexes et à optimiser les performances des pipelines.

• Expérience en méthodologies de travail Agile/Scrum.