Partager cette offre
La mission va se dérouler au sein du département IT Data Management & Business Intelligence, plus précisément dans l'équipe Big Data & API / Squad Financing & Risk. Cette équipe est actuellement responsable du développement et de la gestion d'un datalake nommé RiskLake.
Ce datalake sert de plateforme de données centralisée pour les équipes IT et métiers. Il permet de stocker, traiter et analyser de grandes quantités de données de manière efficace et sécurisée.
L'objectif principal de la mission est d'assurer le rôle de Data Engineer pour le RiskLake. Les responsabilités incluent :
- Gestion de la production
- Gestion de la dette technique
- Revoir l'architecture actuelle et proposer des évolutions
- Développements liés aux projets
Profil recherché
Technologies utilisées :
- Spark : Framework de calcul distribué pour le traitement de grandes quantités de données.
- PySpark : API Python pour Spark, permettant d'écrire des applications Spark en Python.
- Scala : Langage de programmation utilisé pour le développement d'applications Spark.
- Hadoop : Framework pour le stockage et le traitement de grandes quantités de données sur une infrastructure on-premise.
- Hive : Data warehouse pour Hadoop, permettant de requêter et gérer de grandes bases de données.
- SQL/HQL : Langages de requête pour interroger les bases de données relationnelles et Hive.
- Starburst : Moteur de requête SQL pour les données big data.
- Indexima : Plateforme de gestion de données en temps réel.
- Jenkins : Outil d'automatisation pour les pipelines CI/CD.
- Unix/Bash : Système d'exploitation et langage de script pour l'administration système.
- Jira : Outil de gestion de projet et de suivi des bugs.
- Pipeline CI/CD : Processus d'intégration et de déploiement continus.
- XLDeploy/XLRelease : Outils de déploiement et de gestion des releases pour les applications.
Environnement de travail
VISIAN est une société de conseil spécialisée autour de l'innovation, la conception produit, le développement et la data.
Dans le cadre de nos projets clients, nous recherchons un Data Engineer Risk
Postulez à cette offre !
Trouvez votre prochaine mission parmi +7 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
