Offre d'emploi Architecte Data Engineer AWS

Dans le cadre de la croissance rapide de HEXATEAM, nous renforçons notre équipe technique en intégrant de nouveaux talents capables d’accompagner notre transition et expansion dans l’univers du Big Data. Nous cherchons actuellement des Architecte Data Engineer AWS pour concevoir, évoluer et maintenir nos plateformes data sur le cloud AWS.

En tant qu'Architecte Data Engineer AWS, vous jouerez un rôle clé dans la conception, le développement, l’optimisation et la maintenance des pipelines de données pour répondre aux besoins de nos clients et assurer la robustesse de notre infrastructure Data.

1. Conception et Gestion de Databricks :

   • Création et gestion de clusters, jobs, et notebooks dans Databricks.

   • Utilisation avancée de SQL pour créer des requêtes performantes et gérer de grandes bases de données.

2. Maintien en condition opérationnelle :

   • Analyser, corriger et prévenir les incidents et les défauts de la plateforme data en production.

   • Assurer la stabilité et la disponibilité de la plateforme.

3. Développement de pipelines d'ingestion et de transformation des données :

   • Utilisation de Python avec Apache Spark pour traiter de grands volumes de données.

   • Conception de jobs d’ingestion automatisés et performants.

4. Stratégie à long terme :

   • Proposer et implémenter une vision stratégique pour le développement de la plateforme Data.

   • Travailler en collaboration avec les équipes pour définir la feuille de route technique à long terme.

5. Accompagnement et diffusion des bonnes pratiques :

   • Promouvoir les standards de qualité dans l'équipe.

   • Accompagner les équipes dans l’adoption des bonnes pratiques en termes de développement et de gestion des données.

6. Participation aux ateliers de conception techniques et fonctionnels :

   • Collaborer avec les équipes de développement et de produit pour concevoir des solutions adaptées aux besoins métiers.

7. Documentation technique :

   • Rédiger et maintenir à jour la documentation technique des projets en cours.

Indispensable :

• Langages : Python, SQL

• Big Data Framework : Apache Spark

• Outils : Databricks

• Cloud AWS : Expérience avec les services AWS (S3, Glue, Lambda, Airflow, CloudWatch, IAM)

• Versioning : Git

• Méthodologies : Travail en Agile, principalement en mode Scrum

• Suivi de projet : Expérience avec JIRA et Confluence

Souhaité (plus) :

• CI/CD : Connaissance et utilisation de GitLab pour l’intégration et le déploiement continus.

• Outils Big Data : Expérience dans la gestion de grands volumes de données.

• Expérience en CI/CD avec des pratiques avancées d'automatisation.