Mission freelance Mission Développeur Big Data (Cloudera / Spark / Apache Iceberg )
Guyancourt (78)
Intuition IT Solutions Ltd.
Le poste Mission Développeur Big Data (Cloudera / Spark / Apache Iceberg )
Partager cette offre
Nous recherchons un développeur Big Data senior avec une expertise sur Cloudera, Spark et Apache Iceberg pour intervenir sur une mission de longue durée.
Le but de la mission est de participer sur un projet de création d'un Datalake opensource dans un contexte de création d'outils liés à de l'intelligence artificielle.
La prestation s'effectuera au sein des équipes d'une vingtaine de personnes(data engineering, data architects).
Anglais: Bon niveau requis car une partie des équipes est en Amérique et en Inde.
Le datalake s'appuie sur l'offre Cloudera on premise.
Dans ce contexte, la prestation consiste à intervenir sur le POC (Proof of concept) en étroite collaboration avec l'administrateur du datalake house et à mettre en oeuvre et à valider l'infrastructure des plateformes de données.
Dans ce cadre, le prestataire contribuera et aura la responsabilité des sujets suivants:
-Conception et développements du POC avec Cloudera, NoSQL, Mifi, Apache Iceberg, Kafka...
-Mise en œuvre des pipelines pour l'ingestion et l'intégration des données à partir des divers sources tout en s'assurant de la qualité et la cohérence des données.
-Processus ETL / ELT
-Développement et Optimisation des sources ETL et ELT pour soutenir les besoins en datawarehouse
-Optimisation de la performance des flux de données et des requetes
-Travail en étroite collaboration avec l'administrateur
Profil recherché
Nous recherchons un développeur Big Data senior avec une expertise sur Cloudera, Spark et Apache Iceberg pour intervenir sur une mission de longue durée.
Le but de la mission est de participer sur un projet de création d'un Datalake opensource dans un contexte de création d'outils liés à de l'intelligence artificielle.
La prestation s'effectuera au sein des équipes d'une vingtaine de personnes(data engineering, data architects).
Anglais: Bon niveau requis car une partie des équipes est en Amérique et en Inde.
Le datalake s'appuie sur l'offre Cloudera on premise.
Dans ce contexte, la prestation consiste à intervenir sur le POC (Proof of concept) en étroite collaboration avec l'administrateur du datalake house et à mettre en oeuvre et à valider l'infrastructure des plateformes de données.
Dans ce cadre, le prestataire contribuera et aura la responsabilité des sujets suivants:
-Conception et développements du POC avec Cloudera, NoSQL, Mifi, Apache Iceberg, Kafka...
-Mise en œuvre des pipelines pour l'ingestion et l'intégration des données à partir des divers sources tout en s'assurant de la qualité et la cohérence des données.
-Processus ETL / ELT
-Développement et Optimisation des sources ETL et ELT pour soutenir les besoins en datawarehouse
-Optimisation de la performance des flux de données et des requetes
-Travail en étroite collaboration avec l'administrateur
Environnement de travail
Nous recherchons un développeur Big Data senior avec une expertise sur Cloudera, Spark et Apache Iceberg pour intervenir sur une mission de longue durée.
Le but de la mission est de participer sur un projet de création d'un Datalake opensource dans un contexte de création d'outils liés à de l'intelligence artificielle.
La prestation s'effectuera au sein des équipes d'une vingtaine de personnes(data engineering, data architects).
Anglais: Bon niveau requis car une partie des équipes est en Amérique et en Inde.
Le datalake s'appuie sur l'offre Cloudera on premise.
Dans ce contexte, la prestation consiste à intervenir sur le POC (Proof of concept) en étroite collaboration avec l'administrateur du datalake house et à mettre en oeuvre et à valider l'infrastructure des plateformes de données.
Dans ce cadre, le prestataire contribuera et aura la responsabilité des sujets suivants:
-Conception et développements du POC avec Cloudera, NoSQL, Mifi, Apache Iceberg, Kafka...
-Mise en œuvre des pipelines pour l'ingestion et l'intégration des données à partir des divers sources tout en s'assurant de la qualité et la cohérence des données.
-Processus ETL / ELT
-Développement et Optimisation des sources ETL et ELT pour soutenir les besoins en datawarehouse
-Optimisation de la performance des flux de données et des requetes
-Travail en étroite collaboration avec l'administrateur
Postulez à cette offre !
Trouvez votre prochaine mission parmi +7 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Mission Développeur Big Data (Cloudera / Spark / Apache Iceberg )
Intuition IT Solutions Ltd.
