Offre d'emploi Senior Data engineer - Cloud Azure
Île-de-France
HIGHTEAM
Partager cette offre
Dans ce cadre , la prestation consiste à contribuer à :
- L'intégration des cas d’usages Datalake dans le SI avec l'Architecture Techniques
- Identifier et prévenir les risques éventuels de dérapages en terme de coûts et de délais afin de mitiger le risque identifié
- Développement et Implémentations des collectes de données, des jobs de traitement et Mapping de données (Spark/Scala/SparkSQL)
- Développement des moyens de restitution via génération de fichier et ou API & Dashboarding ( Java Spring Batch/Boot, rest API, Postgres)
- A l'amelioration de la chaîne de livraison continue ( Jenkins, Sonar, Nexus , Kubernetes)
- Mise en place de la revue de code avec l'entité - Initiatives projet sur la migration Azure
Avec l'Architectures Techniques dans les choix d'implémentation au sein du SI, la prestation consistera à contribuer à/au(x) :
- Préconisations en termes d'architecture big data
- Mise en place des moyens techniques en conformité avec les lignes directrices fixées par les métiers, les normes et standard SG
- La garantie de la qualité et de la maintenance technique du produit
- Bon fonctionnement de la stratégie de test du produit - La veille technique
Profil recherché
Expertises :
Azure, Scality, Spark, Hive, Postgre
Les livrables attendus sont :
- Documentation d'architecture technique des uses cases et Solution Draft Proposal
- Documentation techniques et fonctionnelles des collectes et traitements incluants les sources de donnees et les traitements associes
- Developpement des jobs de Collecte & de Traitements des donnees - Développement des services de restitution
- Automatisation du deploiement des Jobs (CI/CD), revue régulière des différents indicateurs (Sonar, Jfrog) pour remédiation
Environnement de travail
Les expertises attendues pour réaliser cette prestation sont listées ci-après :
1. Agile Scrum
2. Compétences en développement (Shell unix, Perl, PHP, Python, git, github) 3. Elastic Search & Kibana
4. Git Hub
5. Hadoop (Big Data)
6. Hive
7. Java
8. Jenkins
9. JIRA
10.Kubernetes
Azure
12.PostGreSQL
13.Python
14.Rabbit MQ
15.Spark
16.Airflow
DevOps
Postulez à cette offre !
Trouvez votre prochaine mission parmi +9 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
