Offre d'emploi Data Engineer GCP - BigQuery, Azure Data Factory et DBT

Nous recherchons un Data Engineer GCP - BigQuery, Azure Data Factory et DBT pour contribuer à des projets de transformation de données. Vous serez responsable de la conception et de la gestion des pipelines de données en utilisant Google BigQuery comme base de données principale, Azure Data Factory (ADF) pour le processus ELT, et DBT (Data Build Tool) pour orchestrer les transformations entre les bases de données BigQuery.

Vous travaillerez sur des projets de captage et de transformation de données ainsi que sur la mise en place d'indicateurs et de rapports via des outils de BI tels que Power BI, SSRS ou d'autres plateformes de visualisation.

1. Développement de pipelines de données (ELT) :

   • Créer et maintenir des pipelines de données avec Azure Data Factory pour orchestrer l'extraction, le chargement et la transformation des données.

   • Intégrer des flux de données provenant de multiples sources vers BigQuery pour le stockage et l’analyse.

   • Gérer l'architecture des données, en assurant la qualité et la conformité tout au long du processus ELT.

2. Transformation des données avec DBT :

   • Utiliser DBT (Data Build Tool) pour transformer et modéliser les données au sein de BigQuery.

   • Développer et maintenir des modèles de données modifiables et bien structurés pour répondre aux besoins d'analyse métier.

   • Assurer une documentation claire des transformations et des modèles DBT pour faciliter leur réutilisation et leur maintenabilité.

3. Gestion des données sur BigQuery :

   • Assurer l'optimisation des performances des bases de données BigQuery en termes de stockage, de requêtes et de coûts.

   • Implémenter les meilleures pratiques pour la gestion des données, y compris les partitions et les indexations.

4. Mise en place de reporting et d'indicateurs :

   • Collaborer avec les équipes métiers pour définir les KPI et concevoir des tableaux de bord personnalisés avec Power BI ou SSRS.

   • Créer des visualisations interactives et dynamiques permettant d’analyser les données stockées dans BigQuery et issues des transformations réalisées via DBT.

   • Automatiser les processus de reporting pour fournir des rapports en temps réel et des indicateurs fiables.

5. Documentation et optimisation :

   • Documenter toutes les étapes des pipelines de données, des transformations DBT et des processus de reporting pour garantir la transparence et la collaboration entre les équipes.

   • Identifier et implémenter des solutions pour améliorer les performances des pipelines de données et des processus d'analyse.

6. Collaboration inter-équipes :

   • Travailler en collaboration avec les équipes data, DevOps, et les parties prenantes métier pour comprendre les besoins, résoudre les problèmes techniques et optimiser les flux de données.

   • Participer activement à l'amélioration continue des processus et des outils.