Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Nantes

Smarteo recherche pour l'un de ses clients, Un Data Ingénieur(Spark,spark streaming,batch, Kafka,Java,Stack Hadoop Cloudera)sur Nantes Descriptif: Notre client nous soumet une de mande de prestation de DATA ENGINEERING Taches réalisées : - Développer les cas d'usages Data - Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) - Mettre en ?ouvre les tests unitaires et automatisés - Déployer le produit dans les différents environnements - Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents - Accompagner l'évolution des pratiques de l'équipe dans une logique d'amélioration continue de la qualité du code Compétences techniques attendues : - Spark (spark streaming et batch), Kafka, Java - Stack Hadoop Cloudera - Hdfs, Hive, Hbase, Phoenix, MongoDB - DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana - Scrum (cadre agile entreprise) La mission nécessite de l'autonomie, de l'adaptabilité et une bonne communication (lien direct avec les Squads : PO ou DEV), Si vous êtes disponible et intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jours en format word.

ROLE BASE A NANTES Dans le cadre du programme DATA/IA et d'une réorganisation d'activité entre les départements DDL et ADS autour de la gestion du lac de données et des produits associés, nous recherchons, au sein de notre département Agence Data Service, un Data ingénieur / Administrateur DataIku pour renforcer notre équipe en gestion du DATALAB. Vous viendrez compléter l'équipe en place composée d'un PO et d'un admin Dataiku pour prendre part aux activités suivantes : - Administration de la plateforme Dataiku DSS - Support aux utilisateurs et accompagner les équipes dans la mise en place de leur projets et des bonnes pratiques associées. - Relations avec l'éditeur pour cadrer et participer aux chantiers techniques, optimiser l'architecture du produit. - Participer à la construction d'une offre de service autour d'une plateforme DATA/IA fédérée. Activités Principales : Administration de la Plateforme DataIku ------------------------------------------------------- Configuration et gestion des environnements de production et de développement. Surveillance des performances de la plateforme et mise en œuvre de mesures d'optimisation. Gestion des utilisateurs, des permissions et des rôles sur DataIku. Maintenance des mises à jour et des correctifs de la plateforme. ------------------------------------ Ingénierie des Données : Conception et développement de pipelines de données robustes et évolutifs. Intégration de diverses sources de données (bases de données SQL/NoSQL, API, fichiers plats, etc.). Nettoyage, transformation et enrichissement des données pour les rendre exploitables. Automatisation des processus de traitement de données. ----------------------------------------- Compétences indispensables : Très bonne connaissance de la plateforme DataIku (administration, configuration, optimisation). Connaissance des principes DevOps et des outils CI/CD (Jenkins, Docker). Solides compétences en SQL et Python pour la manipulation des données. Expérience avec les technologies de Big Data (Hadoop, Spark, etc.). Connaissance des bases de données relationnelles et NoSQL. Capacité à concevoir et développer des pipelines de données automatisés.