Le poste Data Engineer Databricks
Partager cette offre
Bonjour,
Dans le cadre de ses projets clients Visian est à la recherche d'un Data Engineer Databricks
La mission du Data Engineer est de developper et de maintenir la liaison entre les besoins du métier Asset management et l’équipe Data Plateforme du Pôle Data en place.
A ce titre, il/elle doit :
• Comprendre les enjeux et les problématiques métier, avoir une vision cohérente des activités de l’entreprise
• Analyser, cadrer, synthétiser, prioriser les besoins des demandeurs (équipe Data A7M), pour être en cohérence avec l’architecture fonctionnelle de la solution cible de l’A7M
• Analyser les traitements de données des données reçues via interface et formaliser les développements à réaliser
• Bien connaître le Data Catalog, avoir une vision transverse des sujets adressés à l’équipe Data pour une évenuelle réutilisation des travaux réalisés
• Définir et mettre en place les règles de gestion de nettoyage et de structuration des bases de données
• Définir et mettre en place les algorithmes et traitements des données pour obtenir les indicateurs répondant aux besoins du métier
• Réaliser des outils d’analyse / Rapports BI
• Concevoir et dimensionner les bases de données et les traitements nécessaires ainsi que les normes et standards d’utilisation de ces bases qui vont accueillir les données nécessaires pour le programme de l’Asset Management
• Capter les données nécessaires et d’une façon optimale (API) dans la mesure du possible pour le périmètre de l’asset mamangement
• Définir et gérer les standards techniques
• Echanger avec les équipes métier de l’Asset Management en sachant vulgariser ses
travaux
• Contribuer à la mise en place et à l’optimisation de la plateforme Data
• Participer à l’étude d’impact pour le programme de l’Asset Management sur
l’architecture existante ou prévisionnelle et préconiser des choix techniques en vue d’assurer la cohérence de cette évolution
Diffusable
• Promouvoir l’architecture de la plateforme Data auprès du reste de l’équipe
• Expliquer le sens des informations exploitables en termes pertinents pour les métiers
• Transmettre le processus de recherche et les suppositions qui ont mené à la
conclusion
LIVRABLES ET RESPONSABILITES :
• Garant du bon déroulement du développement des traitements des données
• Garant du bon déroulement des mises en production des livrables de l’Asset
Management
• Garant des vues du portail décisionnel de l’asset management sous PowerBI
• Développements Python
• Documentation des codes développés
• Documentation des données utilisées et produites
• Modélisations statistiques et Machine Learning
• Rapports / Outils BI
• Respect des choix opérés par le tech lead
Profil recherché
COMPETENCES INDISPENSABLES :
• Très bonne connaissance des problématiques data
• Expérience en environnement DataBricks et cloud AZURE
• Solide connaissance des solutions et techniques de captation de données (Stream, API, batch,...)
• Solide maitrise de PowerBI et UX des rapports Data
• Maîtrise de SQL et des bases de données
• Maîtrise du langage Python et Pyspark
• Maîtrise de Git
• Bonnes maîtrise machine learning
• Connaissances des techniques statistiques
• Connaissance de l’outil JIRA/confluence
Environnement de travail
Visian est une société de conseil spécialisée autour de l'innovation, la conception produit et la data avec plusieurs clients CAC40 de différents type de secteurs d'activité
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer Databricks
VISIAN