Le poste Data engineer confirmé
Partager cette offre
En tant que Data Engineer, vous jouerez un rôle clé dans la conception, le développement et la maintenance de pipelines de données robustes et évolutifs. Vous travaillerez en étroite collaboration avec les équipes de data scientists et d’analystes pour garantir la disponibilité et la qualité des données.
Vos missions principales :
• Concevoir et développer des pipelines ETL (Extract, Transform, Load) pour ingérer et transformer des données provenant de diverses sources.
• Gérer et optimiser les bases de données relationnelles et non relationnelles, notamment PostgreSQL et Teradata.
• Développer et maintenir des solutions Big Data sur Hadoop et Spark pour traiter de grands volumes de données.
• Programmer en Python, R et Scala pour automatiser les flux de données et les tâches de traitement des données.
• Intégrer les processus de gestion de version et d’intégration continue avec Git, GitLab CI et Bitbucket.
• Utiliser Ansible pour automatiser les déploiements d’infrastructure et la gestion des configurations.
• Collaborer avec les équipes en utilisant des outils de gestion de projet et de documentation tels que Jira, Confluence, et Bitbucket.
• Participer à l’amélioration continue des processus de traitement des données et à l’optimisation des performances.
Profil recherché
• Compétences techniques :
• Solide maîtrise de Python et R pour le traitement des données et l’automatisation des tâches.
• Expérience avec les bases de données relationnelles (PostgreSQL, Teradata) et les technologies Big Data (Hadoop, Spark).
• Connaissance des langages de programmation Scala et SQL.
• Expérience avec des outils de gestion de version (Git) et des CI/CD (GitLab CI).
• Connaissance des outils d’automatisation comme Ansible.
• Compétences en gestion de projet et documentation avec Jira, Confluence, et Bitbucket.
Python
R
PostgreSQL
Teradata
Hadoop
Spark
Scala
GitLab CI
Ansible
Jira / Confluence / Bitbucket
Git
Postulez à cette offre !
Trouvez votre prochaine mission parmi +6 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data engineer confirmé
Kaïbee
