Le poste Développeur Big Data
Partager cette offre
Dans le cadre de notre développement, nous recherchons pour un client grand compte un développeur Big Data.
Les missions seront les suivantes :
Mettre en production des modèles statistiques
Acheminer et mettre à disposition les données pour les équipes
Suivre les projets de développement
Développer des jobs Spark pour le traitement des données
Gérer l’ingestion de divers formats de données
Concevoir et implémenter des scripts pour la collecte, le traitement et le mapping des données
Développer des moyens de restitution comme des fichiers, API et tableaux de bord
Concevoir des pipelines pour l'ingestion de données en streaming et en batch, ainsi que des jobs Spark pour le prétraitement et le calcul des indicateurs de performance (KPI)
Développer des API pour l'ingestion et le traitement des données dans un environnement Hadoop
Participer à la conception et à l'administration de solutions Big Data
Installer et configurer des clusters Hadoop
Développer des services en Spring Boot pour extraire des données de systèmes existants et les envoyer au Datalake via Kafka
Normaliser et agréger les données pour produire des rapports de type Business View
Profil recherché
Gestion des Données : Capacité à collecter, valider, et traiter de grandes quantités de données provenant de diverses sources. Maîtrise des outils comme Spark et Kafka pour gérer ces données efficacement.
Compétences Techniques : Expertise dans l’utilisation de plateformes cloud comme GCP et des environnements associés tels que GKE. Connaissance approfondie des systèmes de stockage (HDFS/GCS) et des outils de planification (Airflow). Compétence dans les méthodologies Scrum/Kanban et l’utilisation d’outils de développement comme Git.
Développement et Automatisation : Compétence dans la création de scripts et de jobs pour le traitement des données, ainsi que le développement de pipelines pour ingérer et traiter les données en temps réel et en batch. Connaissance des API pour la mise à disposition des données.
Collaboration et Communication : Capacité à travailler en équipe, avec de bonnes compétences relationnelles pour interagir efficacement avec les membres de l'équipe et les parties prenantes.
Environnement de travail
Créée en 1999, CAT-AMANIA fait partie des ESN dynamiques et innovantes qui s’appuie sur ses expertises métiers, techniques et méthodologiques pour accompagner ses clients dans leur transformation digitale.
Construire ensemble pour mieux grandir
Portée par ses valeurs de Joie, de Confiance, d’Audace, de Persévérance et de Respect, notre entreprise souhaite les partager avec vous dans la réussite de projets communs.
Cat-Amania s'engage à assurer la diversité de ses équipes et à créer un environnement de travail inclusif. Nous accueillons toutes les candidatures sans distinction d'âge, de genre, d'origine, d'orientation sexuelle, de croyance religieuse ou de handicap.
Postulez à cette offre !
Trouvez votre prochaine mission parmi +7 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Développeur Big Data
CAT-AMANIA
