Le poste Développeur Big Data - Spark et Scala
Partager cette offre
Poste: Développeur Big Data
Spécialisation: Spark, Scala
Langues: Anglais Courant (Impératif)
Environnement: Agile, anglophone
Contexte du Poste:
Nous recherchons un Développeur Big Data expérimenté pour rejoindre notre équipe dynamique afin de mener à bien la migration de jobs Talend vers des solutions basées sur Spark. Le candidat idéal doit avoir une solide expérience en Spark et Scala et être capable de travailler efficacement dans un environnement anglophone et agile.
Responsabilités:
Migration des Jobs:
Analyser et comprendre les jobs Talend existants.
Concevoir et développer des équivalents en utilisant Apache Spark.
Assurer une transition fluide des processus ETL de Talend à Spark en minimisant les interruptions de service.
Tester et valider les jobs migrés pour garantir la précision des données et les performances requises.
Développement et Optimisation:
Développer des solutions de traitement de données à grande échelle en utilisant Apache Spark et Scala.
Optimiser les performances des jobs Spark pour gérer efficacement de grands volumes de données.
Collaborer avec les équipes de développement pour intégrer les solutions Spark dans les pipelines de données existants.
Collaboration et Documentation:
Travailler en étroite collaboration avec les équipes de data engineering, data science et autres parties prenantes pour comprendre les besoins et les exigences.
Documenter les processus de migration, les architectures de solution et les meilleures pratiques.
Participer aux réunions d'équipe Agile, contribuer aux rétrospectives et s'adapter aux changements de priorités.
Support et Maintenance:
Fournir un support technique pour les jobs Spark en production.
Identifier et résoudre les problèmes liés aux performances ou aux erreurs de traitement des données.
Mettre en place des processus de surveillance et d'alerte pour assurer la stabilité et la fiabilité des solutions mises en œuvre.
Profil recherché
xpertise Technique:
Maîtrise approfondie de Apache Spark et de ses APIs.
Solide expérience en Scala pour le développement de solutions Spark.
Expérience antérieure avec Talend et compréhension de ses processus ETL.
Connaissance des concepts de traitement de données à grande échelle et de l'optimisation des performances Spark.
Compétences Linguistiques:
Anglais courant, à l'écrit comme à l'oral, pour interagir avec des équipes internationales et documenter les solutions.
Compétences Interpersonnelles:
Excellentes capacités de communication pour collaborer avec divers acteurs du projet.
Aptitude à travailler dans un environnement Agile, adaptable et réactif face aux changements.
Approche Méthodologique:
Expérience dans un environnement Agile avec une capacité à gérer plusieurs tâches et priorités simultanément.
Capacité à fournir des solutions efficaces dans des délais serrés tout en maintenant un haut niveau de qualité.
Postulez à cette offre !
Trouvez votre prochaine mission parmi +6 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Développeur Big Data - Spark et Scala
Signe +
