Le poste Data engineer GT Lake
Partager cette offre
Contexte / Objectifs :
La mission va se dérouler au sein de l'IT Data Management & BI dans l'équipe Trade et Treasury Solutions qui aujourd'hui développe et gère un datalake (GT Lake)
Ce datalake est une brique clé dans la mise en oeuvre des projets de développements autour du plan stratégique et des besoins métiers.
Les principales missions consisteront notamment à :
- Rédiger des spécifications techniques détaillées
- Analyser les impacts des nouveaux projets sur les traitements/processus du système d’information existant
- Comprendre et faire évoluer les modélisations
- Développer des requêtes
- Réaliser des développements (avec une approche industrielle)
- Organiser et réaliser des recettes
- Planifier et suivre la production
- Implémenter et automatiser de bout en bout des programmes et solutions de Data Engineer dans un environnement Big Data
- Intégrer, former les collaborateurs data ingénieur de l'équipe, définir les bests practices...
- Participer à la communauté BigData de la BGC
La mission se fera exclusivement dans un contexte méthodologique Agile. Il impliquera de pouvoir travailler avec des collègues travaillant à distance dans l’entité de Porto.
Activités et tâches :
• Acheminement de la donnée
• Mise à disposition de la donnée aux équipes utilisatrices
• Mise en production de modèles statistiques
• Suivi de projet de développement
• Développement job spark
• Traitement et ingestion de plusieurs formats des données
• Développement des scripts
• Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données
• Développement des moyens de restitution via génération de fichier et ou API & Dashboarding
• Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers
• Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI)
• Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP
• Participer à la conception, mise en place et administration de solutions Big Data
• Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka
• Normalisation et agrégation des données afin de produire les rapports sous forme de Business View
Profil recherché
Expertises spécifiques :
Compétences recherchées :
Expérience en développement Python, SQL, Apache Spark, shell
- Hadoop, BigQuery, Hive, Kubernetes, Jira, Jenkins, ElasticSearch, Logstash. Maitrise des différents composants de l'écosystème Hadoop. Expérience de développement de process Hadoop sur une infra On Premise
DevOps: Maitrise des pipelines de CI/CD : Git / Jira / Jenkins (XLDeploy & XLRelease & ControlM seront appréciés)
• Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise
• Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent
Séniorité : Entre 6 et 9 ans
Environnement de travail
Visian est une société de conseil (Fililale du Groupe Neurones) spécialisée autour de la conception produit, la innovation et la data, avec plusieurs clients CAC40 sur des différents secteur d'activité notamment la banque, finance, assurance, énergie et transport.
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data engineer GT Lake
VISIAN
