Mission freelance Data Engineer Databricks

Bonjour,

Dans le cadre de ses projets clients Visian est à la recherche d'un Data Engineer Databricks

La mission du Data Engineer  est de developper et de maintenir la liaison entre les besoins du métier Asset management et l’équipe Data Plateforme du Pôle Data en place.

A ce titre, il/elle doit :

  • Comprendre les enjeux  et les problématiques métier, avoir une vision cohérente des activités de l’entreprise

• Analyser, cadrer, synthétiser, prioriser les besoins des demandeurs (équipe Data A7M), pour être en cohérence avec l’architecture fonctionnelle de la solution cible de l’A7M

• Analyser les traitements de données des données reçues via interface et formaliser les développements à réaliser

• Bien connaître le Data Catalog, avoir une vision transverse des sujets adressés à l’équipe Data pour une évenuelle réutilisation des travaux réalisés

• Définir et mettre en place les règles de gestion de nettoyage et de structuration des bases de données

• Définir et mettre en place les algorithmes et traitements des données pour obtenir les indicateurs répondant aux besoins du métier

• Réaliser des outils d’analyse / Rapports BI

• Concevoir et dimensionner les bases de données et les traitements nécessaires ainsi que les normes et standards d’utilisation de ces bases qui vont accueillir les données nécessaires pour le programme de l’Asset Management

• Capter les données nécessaires et d’une façon optimale (API) dans la mesure du possible pour le périmètre de l’asset mamangement

• Définir et gérer les standards techniques

• Echanger avec les équipes métier de l’Asset Management en sachant vulgariser ses

travaux

• Contribuer à la mise en place et à l’optimisation de la plateforme Data

• Participer à l’étude d’impact pour le programme de l’Asset Management sur

l’architecture existante ou prévisionnelle et préconiser des choix techniques en vue d’assurer la cohérence de cette évolution

Diffusable

• Promouvoir l’architecture de la plateforme Data auprès du reste de l’équipe

• Expliquer le sens des informations exploitables en termes pertinents pour les métiers

• Transmettre le processus de recherche et les suppositions qui ont mené à la

conclusion

LIVRABLES ET RESPONSABILITES :

• Garant du bon déroulement du développement des traitements des données

• Garant du bon déroulement des mises en production des livrables de l’Asset

Management

• Garant des vues du portail décisionnel de l’asset management sous PowerBI

• Développements Python

• Documentation des codes développés

• Documentation des données utilisées et produites

• Modélisations statistiques et Machine Learning

• Rapports / Outils BI

• Respect des choix opérés par le tech lead