Trouvez votre prochaine mission ou futur job IT.

Nous recherchons un développeur Big Data senior avec une expertise sur Cloudera, Spark et Apache Iceberg pour intervenir sur une mission de longue durée. Le but de la mission est de participer sur un projet de création d'un Datalake opensource dans un contexte de création d'outils liés à de l'intelligence artificielle. La prestation s'effectuera au sein des équipes d'une vingtaine de personnes(data engineering, data architects). Anglais: Bon niveau requis car une partie des équipes est en Amérique et en Inde. Le datalake s'appuie sur l'offre Cloudera on premise. Dans ce contexte, la prestation consiste à intervenir sur le POC (Proof of concept) en étroite collaboration avec l'administrateur du datalake house et à mettre en oeuvre et à valider l'infrastructure des plateformes de données. Dans ce cadre, le prestataire contribuera et aura la responsabilité des sujets suivants: -Conception et développements du POC avec Cloudera, NoSQL, Mifi, Apache Iceberg, Kafka... -Mise en œuvre des pipelines pour l'ingestion et l'intégration des données à partir des divers sources tout en s'assurant de la qualité et la cohérence des données. -Processus ETL / ELT -Développement et Optimisation des sources ETL et ELT pour soutenir les besoins en datawarehouse -Optimisation de la performance des flux de données et des requetes -Travail en étroite collaboration avec l'administrateur

Nous recherchons un administrateur Big Data senior avec une expertise sur Cloudera, Spark et Apache Iceberg pour intervenir sur une mission de longue durée. Le but de la mission est de participer sur un projet de création d'un Datalake opensource dans un contexte de création d'outils liés à de l'intelligence artificielle. La prestation s'effectuera au sein des équipes d'une vingtaine de personnes(data engineering, data architects). Anglais: Bon niveau requis car une partie des équipes est en Amérique et en Inde. Le datalake s'appuie sur l'offre Cloudera on premise. Dans ce contexte, la prestation consiste à intervenir sur un POC (Proof of concept) en étroite collaboration au sein de d'une équipe d'administrateurs du datalake house. Vous interviendrez sur la mise en oeuvre et la validation des infrastructures des plateformes de données. Dans ce cadre, le prestataire contribuera sur les sujets suivants: -Administration du POC avec Cloudera, NoSQL, Mifi, Apache Iceberg, Kafka... -Participation à des projets de pipelines pour l'ingestion et l'intégration des données à partir des divers sources tout en s'assurant de la qualité et la cohérence des données. -Processus ETL / ELT -Optimisation de la performance

Pour un démarrage sous un mois environ, nous recherchons un(e) intégrateur technique d'application freelance très expérimenté pour intégrer les application web chez notre client, en lien avec la production et les équipes de développement. Très Important : le profil recherché n'est pas un ingénieur de production qui gère des procédures d'intégration applicative mais un consultant habitué à être intercalé entre les équipes de développements et la production et qui prépare les documents d'installation. de plus il doit être expert et parfaitement autonome avec beaucoup d'expérience sur Tomcat / Apache. Pas de Devops dans le périmètre. Astreintes possibles soir et week-end - répartition selon l'équipe Livrables sont : - Dossier d'installation - Composants applicatifs -Configuration applicative Description détaillée - Capable de configurer/installer tomcat manuellement sur windows ou linux - Capable d'analyser les logs tomcat en cas d'erreur - Capable de configurer/installer manuellement un serveur httpd - Capable d'analyser les logs httpd en cas d'erreur - Savoir évoluer dans un environnement linux - Récupération des livrables de développement sur les outils de Gestion de configuration (SVN, GIT) - Installation des packages sur les plateformes de tests - Qualification des packages sur les plateformes de tests selon les normes en vigueur - Vérification de la conformité des applications vis à vis des contraintes de production - Rédaction et validation des documents d'installation et d'exploitation - Rédaction et exécution des plans de tests techniques - Assistance et support technique à la mise en production - Communication avec l'équipe projet - Reporting

Dans le cadre d'un renfort d'équipe chez l'un de nos clients : Nous recherchons un consultant Data / BI / Dataviz avec une expertise sur "Apache Superset" Missions principales : Configuration de dashboards superset : Création de dashboards dynamiques et interactifs pour répondre aux besoins spécifiques de l'entreprise Intégration de données provenant de différentes sources Mise en forme des données pour une visualisation claire et efficace Développement de plugins : Création de plugins personnalisés pour étendre les fonctionnalités de Superset Intégration de nouvelles sources de données Automatisation des tâches de reporting Informations complémentaires : Type de contrat : Prestation de service Début de mission : Immédiat Lieu de travail : Castres / Full Remote

- Intégrer des données provenant de sources externes et exploiter pleinement le Datalake. - Générer et diffuser automatiquement des agrégats quotidiens, hebdomadaires et mensuels. - Mettre en place la chaîne complète d'ingestion, validation, croisement et stockage des données enrichies dans le Datalake. - Respecter les normes d'architecture définies lors du développement. - Documenter les user stories en collaboration avec le PO - Créer des scripts de déploiement et prioriser la résolution des anomalies. - Soutenir les équipes d'exploitation et contribuer à l'implémentation de la chaîne de livraison continue. - Automatiser les tests fonctionnels.

Contribuez à des projets data complexes avec des technologies avancées. Quel sera votre rôle ? Nous recherchons un(e) Data Engineer Scala / Spark. Vous rejoignez l’équipe d’ingénierie data pour concevoir des pipelines de traitement de données à grande échelle. Au quotidien, vos missions seront les suivantes : Développer et optimiser des pipelines de données en utilisant Scala et Spark, dans un environnement distribué. Mettre en place des modèles de données complexes en SQL pour répondre aux besoins métier. Collaborer avec les data scientists pour garantir l’efficacité des flux de données et des modèles analytiques. Environnement technique : Scala, Apache Spark, SQL, Hadoop, Kafka

📑 CDI (42-50K€) / Freelance / Portage Salarial - 🏠 10 jours de télétravail / mois - 📍 Lyon - 🛠 Expérience de 5 ans minimum 🌟 Envie d’un nouveau challenge... CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un(e) Développeur – Big Data | Spark pour intervenir chez un de nos clients. 💻💼 Contexte : vos missions tournent autour de 4 axes : - Fournir une expertise en Big Data pour simplifier la manipulation des données. - Concevoir des solutions techniques pour le traitement massif de données. - Implémenter des solutions de stockage de données (SQL, NoSQL, etc.). - Assurer la sécurité et la lisibilité des pipelines de données pour faciliter l'analyse et la transformation. Voici un aperçu détaillé de vos missions 🎯 : - Création, maintenance, optimisation et sécurisation des bases de données pour garantir leur intégrité et leur performance. - Détection, proposition et suivi des optimisations des requêtes SQL, PL/SQL afin d'assurer l'efficacité des applications métier en termes de traitement des données. - Fournir un soutien aux équipes de développement en identifiant et en recommandant des solutions SGBD adaptées aux besoins métier, tout en assurant leur performance et leur pertinence. - Effectuer une veille technologique sur les outils utilisés dans le cadre du projet, afin de maintenir la pertinence et la compétitivité des solutions mises en œuvre. - Partager et dispenser des formations sur les bonnes pratiques en matière de gestion des bases de données, contribuant ainsi à l'amélioration continue des processus et des compétences au sein de l'équipe.

DATA ENGINEERING Spark (spark streaming et batch), Kafka, Java Nantes Taches réalisées : - Développer les cas d'usages Data - Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) - Mettre en œuvre les tests unitaires et automatisés - Déployer le produit dans les différents environnements - Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents - Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code Compétences techniques attendues : - Spark (spark streaming et batch), Kafka, Java - Stack Hadoop Cloudera - Hdfs, Hive, Hbase, Phoenix, MongoDB - DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana - Scrum (cadre agile entreprise) La mission nécessite de l'autonomie, de l'adaptabilité et une bonne communication (lien direct avec les Squads : PO ou DEV),

Smarteo recherche pour l'un de ses clients, Un Data Ingénieur(Spark,spark streaming,batch, Kafka,Java,Stack Hadoop Cloudera)sur Nantes Descriptif: Notre client nous soumet une de mande de prestation de DATA ENGINEERING Taches réalisées : - Développer les cas d'usages Data - Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) - Mettre en ?ouvre les tests unitaires et automatisés - Déployer le produit dans les différents environnements - Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents - Accompagner l'évolution des pratiques de l'équipe dans une logique d'amélioration continue de la qualité du code Compétences techniques attendues : - Spark (spark streaming et batch), Kafka, Java - Stack Hadoop Cloudera - Hdfs, Hive, Hbase, Phoenix, MongoDB - DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana - Scrum (cadre agile entreprise) La mission nécessite de l'autonomie, de l'adaptabilité et une bonne communication (lien direct avec les Squads : PO ou DEV), Si vous êtes disponible et intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jours en format word.

💼 Poste : Tech Lead Java Spark référence 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite mettre en œuvre le volet transformation du système d'information du programme d'amélioration du dispositif de pilotage et de certification de l'assiette risques structurels dont les objectifs sont : Amélioration et accélération de la constitution de l'assiette risques structurels La certification de cette assiette risques structurels cohérente comptable Renforcer la remédiation en termes de qualité de donnée et réduire le nombre d'ajustements manuels Notre client souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre notre client souhaite bénéficier de l'expertise du Prestataire en termes de conception et développement. Dans ce cadre, la prestation consiste à contribuer à/au(x): L’instruction et le cadrage technique des projets, L’implémentation de solutions techniques en méthodologie agile Environnement technique : Java (Spark est un gros plus, Python est un plus) Devops : Ansible, Jenkins, GitHub Actions, Sonar, Artifactory Big Data & Cloud : Cloudera CDP, Apache stack (HDFS, Oozie, Yarn) Data : Oracle DB, PostgreSQL, Hive, Elastic Search, REST APIs Livrables attendus Les livrables attendus sont : Notes de cadrage techniques Spécifications techniques Support et développement sur toutes les releases 2024-2025 🤝 Expertises spécifiques : Agile Scrum Ansible Artifactory Compétences en développement (Shell unix, Perl, PHP, Python, git, github) Elastic Search & Kibana Hive Java Jenkins Oracle Database Enterprise Server PostGreSQL REST Scripting (GuitHub, Ansible, AWX, shell, vba) Sonar

Secteur d'activité : Energie Mission(s) : conception et développement d'applications de gestion et suivi de la distribution d'énergie en Java 8 et versions supérieures Attendu(s) : conception logiciels, développement de tests automatisés, gestion de la chaine d'intégration continue (CI/CD), analyse des anomalies, gestion de la performance, amélioration continue, software craftmanship Profil (s) : développeur backend , pas de front , les compétences Kafka et RabbitMQ (mises en oeuvre dans un cadre professionnel) sont obligatoires , familier l'intégration continue (chaines CI/CD) Méthodologie : agile SAFe, Devops Télétravail : 60%

Nous recherchons un consultant Data Cloudera Apache Iceberg pour un client basé à Versailles dans le 78. La prestation se déroulera dans les services IT IS. Ce département ou interviendra le prestataire est en charge de la gestion des données et de la business intelligence des systèmes d'information et de l'alimentation du datawarehouse, conception des rapports, calculs et visualisation des KPI. La prestation s'effectuera au sein des équipes d'une vingtaine de personnes (data engineering, data architectes). Les personnes de l'équipe sont basées à Versailles, Boston (USA) et Pune (Inde). Les données sont gérées principalement au sein des datawarehouses sur les bases de données Oracles, Le data Lake s'appuie sur l'offre Cloudera on premise. L'équipe est en charge des évolutions, support et de la maintenance.

[Contexte] La prestation se déroule au sein du pôle Cybersecurity eFraud & Solutions dans lequel sont développés les outils de Maching Learning lutte contre la fraude et de réponse cyber à des recommendations de la BCE en cartographie et microsegmentation réseau (Octoflow) L'outil permet de recenser les échanges entre serveur afin de certifer les logs. Pour cela l'équipe a besoin d'un data engénieur afin de parser les données des différentes sources afin de les restituer à un outil interne. socle technique : Spark, Scala, Hadoop, Hive, Control-M, Starburst, ElasticSearch, Hbase [La prestation consiste à contribuer à/au(x)] - exploration et parsing des données - développement de programmes de traitements de données (micro-services) en Scala/Spark - Examen du code et assurance qualité : respect des normes de codage et mise en œuvre des pratiques d'assurance qualité afin de maintenir un niveau élevé de qualité des logiciels. - L'assistance au Product Owner et aux autres entité dont les architectes, les parties prenantes et les bénéficaires pour définir les exigences du projet et garantir l'alignement sur les objectifs de l'entreprise - Expertise technique : tendances et technologies du secteur dont le domaine DATA, WEB, etc. et assistance à l'entité. - Résolution de problèmes : Défis techniques et contribuer à apporter des moyens innovants à des problèmes complexes. - Gestion des performances : Evaluations des performances, retour d'information et favoriser la croissance et le développement professionnels au sein de l'entité [Les livrables attendus sont] - exploration et parsing des données - développement de programmes de traitements de données (micro-services) en Scala/Spark - veille technologique d'outils contribuant à l'optimisation de la solution

Votre poste : Rejoignez notre équipe pour une mission chez notre client Grand Compte bancaire et au sein duquel vous serez en charge de : · Maintien en condition opérationnelle du parc de serveurs et d’applications du périmètre Web, principalement centré sur les technologies Apache, Tomcat / Jboss / Wildfly, Kubernetes, HaProxy et ordonnancement Control-M / JobScheduler pour la partie applicative, et majoritairement CentOS 7 à 9 et RHEL 6 à 9 pour la partie système · Transformation d’infrastructures et applications legacy / on premise vers le Cloud privé groupe et/ou conteneurisation Kubernetes · Transformation ou reconstruction des serveurs / applications · Audit, mise en conformité et mise en pratique des règles de sécurité et bonnes pratiques groupe (par transformation ou remédiation de failles) · S’assurer de la résilience des infras et applications de production · Traitement des évolutions applicatives en prod, notamment via la mise en place ou l’utilisation de pipelines Jenkins existants · Automatisations diverses (Shell, Ansible, Jenkins) pour fiabiliser, superviser

💼 Poste : Data Engineer Scala Spark Hadoop 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite une assistance dans le cadre de la mise en œuvre d'une assiette commune pour les usages Finances et Risques, plus particulièrement sur les données Evènements. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : L’architecture avec le reste de l’entité (tech lead, devs, architecture). Mise en œuvre/Développement des propositions techniques. Revue de code. Suivi des méthodologies agiles. L'industrialisation des développements et des tests sur de l'open source Environnement anglophone. Livrables attendus Les livrables attendus sont : Développements et tests (en TDD) en mode Agile pour répondre au cas d'usage métier et déployable en environnement de production. PVs techniques Chiffrage de projets et évolutions Design de solution 🤝 Expertises spécifiques : Continuous Integration Hadoop (Big Data) Scala Spark

Ce que tu recherches : · Evoluer au sein d’une équipe dynamique · Participer à des projets innovants d’envergure · Relever des défis · Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi ! Dans le cadre du plan de Transformation SI , nous recherchons un Expert KAFKA pour rejoindre les équipes de notre client grand compte : · Analyse des besoins, tu feras · Spécifications techniques, tu rédigeras · L’architecture et/ou socle technique, tu définiras · Bonnes pratiques, tu instaureras · De nouvelles fonctionnalités, tu développeras · Zéro bug, tu laisseras · Ton équipe, tu accompagneras · Aux instances de pilotage, tu participeras